Data инженер (Middle/Senior)

Описание вакансии

ID 3190

#Data инженер

"Middle

Senior"

Ритейл

Кол-во специалистов

1

Длительность проекта

3 месяца

Объем участия в проекте

Высокая нагрузка

~160 ч/мес

Формат взаимодействия

Удаленно

Требуемая локация специалиста

Любая

Доступность специалиста

по мск

Требуемое гражданство специалиста

любое

Обязательные требования

Требования для уровня Middle:

• Общее представление о стеке технологий Lakehouse;
• Понимание различия работы между BigData/Lakehouse и с данными обычного размера;
• Знание SQL (индексы, функции, оптимизация, профилирование производительности);
• Знание языков программирования (JAVA, Python);
• Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.);
• Умение работать с Git (знание команд git pull/commit/push);
• Опыт работы с DBT, Cosmos, Ni-Fi;
• Опыт разработки на Spark;
• Понимание особенностей Trino;
• Понимание форматов данных Iceberg, Parquet, Avro;
• Понимание работы с minio или любого другого хранилища на основе S3;
• Опыт использования системами ведения проектов и документации.

Требования для уровня Senior:

• Общее представление о стеке технологий Lakehouse;
• Понимание различия работы между BigData/Lakehouse и с данными обычного размера;
• Знание SQL (индексы, функции, оптимизация, профилирование производительности);
• Знание языков программирования (JAVA, Python);
• Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.);
• Умение работать с Git (знание команд git pull/commit/push);
• Опыт работы с DBT, Cosmos, Ni-Fi;
• Опыт разработки на Spark;
• Навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore;
• Понимание особенностей Trino;
• Понимание форматов данных Iceberg, Parquet, Avro;
• Понимание работы с minio или любого другого хранилища на основе S3;
• Опыт использования системами ведения проектов и документации;
• Опыт разработки нетиповых интеграций (включая SAP-системы);
• Опыт разработки near-realtime потоков (Flink, Debezium);
• Опыт оптимизации высоконагруженных потоков (миллиарды записей инкремента) с использованием инструментов Observability (grafana, victoria metrics, zabbix).

Задачи на проекте

Задачи для уровня Middle:

• Сбор требований с бизнес-заказчиков и анализ источников данных;
• Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
• Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок;
• Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных;
• Предоставление отчетности о своей деятельности руководителю.

Задачи для уровня Senior:

• Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
• Разработка нетиповых интеграций (в тч SAP);
• Системная разработка инструментов (переиспользуемых шаблонов) обработки данных;
• Разработка системного дизайна сложных решений (C2/DD);
• Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок;
• Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных;
• Предоставление отчетности о своей деятельности руководителю.

Этапы отбора

1. Техническое интервью
2. Интервью с ПО

Описание проекта и команды

Крупная ритейл компания.

Стек проекта: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop.

Обязательные условия выхода на проект

При отклике на вакансию просьба указывать полностью ФИО кандидата.

*📩 Телеграм для связи:* Откликнуться