Middle Data Engineer
Оценка ИИСтабильная компания с хорошей репутацией на рынке РФ. Интересный стек технологий и возможность удаленной работы, однако отсутствие указанной зарплаты снижает прозрачность предложения.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Оценка ИИПозиция требует уверенного владения стеком Apache (Spark, Airflow, Hadoop) и навыков работы с S3. Сложность умеренная для уровня Middle, так как проект связан с банковской сферой и требует дисциплины в документации.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата в вакансии не указана, но для Middle Data Engineer в Москве рыночный диапазон составляет от 180 000 до 280 000 рублей. Предложение будет конкурентоспособным, если попадет в эти рамки.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
*⌨️ Middle Data Engineer*
Зарплата не указана
Москва, можно удалённо
Лига Цифровой Экономики — группа компаний, оказывающих услуги в области информационных и цифровых технологий. Ищут инженера для банковского проекта по репликации данных из S3 в Hadoop и разработке ETL-процессов.
Требования:
— уверенное владение SQL и опыт работы с Python
— опыт работы с Apache Spark, Hadoop/S3/S3-like и Airflow
— навыки декомпозиции сложных задач и управления приоритетами
— умение создавать понятную, структурированную техническую документацию
Опыт с Parquet/ORC, Apache Iceberg и Kafka, знание архитектуры Data Vault будут плюсом.
*➡️* Откликнуться
*📍* Навигация: База знаний • Задачи • Собеседования
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- SQL
- Python
- Apache Spark
- Hadoop
- S3
- Apache Airflow
- Apache Parquet
- Apache ORC
- Apache Iceberg
- Apache Kafka
- Data Vault
Возможные вопросы на собеседовании
Проверка понимания специфики работы с большими данными в Hadoop.
В чем разница между форматами хранения Parquet и ORC, и какой из них вы бы выбрали для интеграции со Spark?
Оценка навыков проектирования ETL-процессов.
Как вы организуете обработку ошибок и повторные запуски (retries) в DAG Airflow при сбоях в репликации из S3?
Проверка знаний архитектуры данных.
Расскажите об основных принципах Data Vault. В каких случаях оправдано использование этой методологии?
Оценка опыта работы с Apache Spark.
Как вы оптимизируете Spark-задачи, если сталкиваетесь с проблемой перекоса данных (data skew)?
Проверка навыков работы с очередями сообщений.
Какую роль Kafka может играть в процессе репликации данных между S3 и Hadoop в реальном времени?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
