- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Senior Data инженер
Оценка ИИПривлекательная вакансия для опытных инженеров данных благодаря современному стеку (Lakehouse, Trino, Iceberg) и масштабу задач в ритейле. Прямой запрос и удаленный формат работы (РФ/РБ) делают предложение конкурентным на рынке.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена требованием Senior-уровня и необходимостью владения огромным стеком технологий (Lakehouse, Spark, Flink, Trino). Кандидат должен уметь оптимизировать потоки с миллиардами записей и проектировать системный дизайн сложных решений.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, но для позиции Senior Data Engineer в крупном российском ритейле рыночные вилки обычно начинаются от 350 000 рублей. Данная роль требует редких компетенций (Flink, Trino, Iceberg), что может поднять планку выше среднего по рынку.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Присоединяйтесь к команде крупного ритейлера и работайте над масштабными Lakehouse-решениями — откликайтесь прямо сейчас!
Описание вакансии
#9454
Senior Data инженер — прямой запрос в крупный ритейл
Локация: РФ/РБ
Гражданство: РФ/РБ
Часовой пояс: МСК
Загрузка: Fulltime
Срок проекта: Длительный срок
Основные требования:
Стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop
- Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
- Разработка нетиповых интеграций (включая SAP)
- Системная разработка инструментов (переиспользуемых шаблонов) обработки данных
- Разработка системного дизайна сложных решений (C2/DD)
- Оперативное реагирование на проблемы, выполнение типовых задач в срок
- Поддержание документации типовых интеграционных решений платформы больших данных
Задачи на проекте:
- Общее представление о стеке Lakehouse
- Понимание различий между BigData/Lakehouse и обычными данными
- Знание SQL (индексы, функции, оптимизация, профилирование производительности)
- Знание языков программирования (Java, Python)
- Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MsSQL и т.п.)
- Умение работать с Git (git pull/commit/push)
- Опыт работы с DBT, Cosmos, Ni-Fi
- Опыт разработки на Spark
- Навыки использования компонентов Hadoop: Yarn, Ranger, Zookeeper, Hive metastore
- Понимание особенностей Trino
- Понимание форматов данных Iceberg, Parquet, Avro
- Понимание работы с minio или S3-хранилищами
- Опыт использования системами ведения проектов и документации
- Опыт разработки нетиповых интеграций (включая SAP)
- Опыт разработки near-realtime потоков (Flink, Debezium)
- Опыт оптимизации высоконагруженных потоков (миллиарды записей) с использованием Observability (Grafana, Victoria Metrics, Zabbix)
Писать Откликнуться
Канал Аутстаф запросов Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Greenplum
- Trino
- Apache Airflow
- ClickHouse
- Python
- Spark
- SQL
- dbt
- S3
- Hadoop
- Apache Iceberg
- Kafka
- Apache Flink
- SAP
- Java
- PostgreSQL
- MySQL
- Git
- Apache NiFi
- Grafana
- VictoriaMetrics
Возможные вопросы на собеседовании
Проверка опыта работы с огромными объемами данных и инструментами мониторинга.
Расскажите о вашем опыте оптимизации высоконагруженных потоков (миллиарды записей). Какие метрики в Grafana или Victoria Metrics были для вас ключевыми?
Вакансия предполагает работу с современной архитектурой данных.
В чем, по вашему мнению, основные преимущества и сложности перехода от классического Hadoop/Hive к архитектуре Lakehouse с использованием Iceberg и Trino?
В требованиях указана разработка нетиповых интеграций.
Был ли у вас опыт интеграции с SAP? С какими основными трудностями вы сталкивались при выгрузке данных из этой системы в Big Data стек?
Проверка навыков проектирования.
Как вы подходите к разработке системного дизайна (C2/DD) для нового интеграционного потока? Какие факторы учитываете в первую очередь?
Проверка владения инструментами обработки в реальном времени.
Опишите ваш опыт работы с Flink и Debezium для создания near-realtime потоков. Как вы обеспечиваете отказоустойчивость таких решений?
Похожие вакансии
ML-инженер
Python разработчик (DWH/Data Engineering)
Data Scientist Middle+, Senior
Data Scientist
Middle+ Data инженер
Senior ML аналитик (Kandinsky)
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!