Разработчик DWH / Инженер данных
Оценка ИИИнтересный проект в транспортной сфере с современным технологическим стеком (Iceberg, Airflow, Spark). Удаленный формат и работа по ИП/ГПХ подходят для проектной занятости, однако отсутствие названия компании немного снижает прозрачность.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Оценка ИИПозиция требует уверенного владения современным стеком обработки данных (Airflow, PySpark, Iceberg). Средний уровень сложности обусловлен необходимостью опыта работы с брокерами сообщений и оптимизацией OLAP-запросов.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИДля специалиста с опытом от 2 лет в области Data Engineering рыночная вилка в России обычно составляет от 180 000 до 280 000 рублей. Данная позиция соответствует уровню Middle, где оплата сильно зависит от глубины знаний Spark и Airflow.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Открыта позиция Разработчика DWH на проект (ПО, транспортная компанией)
Формат работы: удаленно, полный рабочий день, оформление по ИП/ГПХ
• Опыт работы от 2-х лет в качестве инженера данных, разработчика ETL на SQL и Pyspark;
• Опыт работы с SQL, PostgreSQL, Apache Airflow, с API, веб-сервисами, очередями и другими стандартными технологиями интеграции данных.
• Оптимизация SQL, в том числе для целей OLAP;
• Экспертиза в реализации ETL / ELT для хранилищ или озер данных;
• Навыки работы с Apache Airflow — создание DAG’ов, управление зависимостями ETL-пайплайнов;
• Базовый уровень владения Apache Hadoop (Spark, Hive или Impala);
• Опыт работы с брокерами сообщений (Kafka, RabbitMQ)
• Опыт работы с S3 Minio и Apache Iceberg.
Писать в ТГОткликнуться
Спасибо!
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- SQL
- PostgreSQL
- Apache Airflow
- PySpark
- ETL
- ELT
- Apache Hadoop
- Apache Spark
- Apache Hive
- Apache Impala
- Kafka
- RabbitMQ
- S3
- MinIO
- Apache Iceberg
- API
Возможные вопросы на собеседовании
Проверка навыков работы с основным инструментом оркестрации, указанным в вакансии.
Расскажите, как вы организуете обработку ошибок и повторные попытки (retries) в сложных DAG-ах Apache Airflow?
Вакансия требует опыта с PySpark и Hadoop.
С какими проблемами производительности в Spark вы сталкивались и как решали вопросы с перекосом данных (data skew)?
Упоминание Apache Iceberg предполагает работу с современными форматами таблиц.
В чем основные преимущества использования Apache Iceberg по сравнению с обычными Parquet-файлами в S3?
Важный навык для оптимизации хранилища.
Какие стратегии индексации или партиционирования в PostgreSQL вы бы применили для ускорения аналитических запросов?
Проверка опыта работы с потоковыми данными.
Опишите ваш опыт интеграции данных из Kafka в DWH: какие инструменты использовали и как обеспечивали гарантию доставки?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
