Middle Data Engineer (СберAds)
Оценка ИИИнтересный проект СберAds в крупной ИТ-компании с современным стеком (Lakehouse, Spark, Scala). Гибкий формат работы и четкие требования к кандидату делают вакансию привлекательной для Middle-специалистов.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Оценка ИИПозиция требует глубоких знаний Apache Spark и SQL, а также готовности работать со Scala-ядром. Высокая планка по опыту (от 3 лет) и знание архитектуры Lakehouse делают отбор достаточно строгим.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИВ объявлении не указан уровень заработной платы. Для позиции Middle Data Engineer в Москве рыночный диапазон составляет от 200 000 до 350 000 рублей после вычета налогов, в зависимости от владения Scala и опыта с Big Data инструментами.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
ИЦ АЙ-ТЕКО
Middle Data Engineer (СберAds)
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид или офис
*☑️* Чем предстоит заниматься
-Проектировать и разрабатывать новые, а также поддерживать существующие data pipeline’и в облачной среде
-Заниматься тюнингом и оптимизацией производительности пайплайнов (написание эффективного кода, работа с "горячими" точками, распределенные вычисления)
-Настраивать мониторинг, алертинг и участвовать в создании дашбордов для отслеживания здоровья данных
-Внедрять и развивать практики Data Quality и DataOps
-Поддерживать и развивать техническую документацию
*☑️* Наши пожелания к кандидатам
-Опыт работы от 3х лет (Обязательно)
-Отличные знания SQL: умение писать сложные запросы, оптимизировать их, читать и понимать планы выполнения (execution plans), знать внутреннюю работу движка (алгоритмы джойнов, распределение данных, индексы)
-Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты готов(а) работать с нашим Scala-ядром
-Уверенное знание Apache Spark: понимание архитектуры, работы с памятью, оптимизации Spark-задач
-Понимание архитектуры Lakehouse: знание концепций DWH и Data Lake, понимание слоев (Raw, Clean, Core, Mart), витрин и агрегатов
-Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками задач
-Уверенная работа с Git, понимание принципов CI/CD для данных
-Будет плюсом:
-Опыт работы со стриминговым ETL: Kafka, Spark Structured Streaming или Apache Flink
-Опыт работы с современными табличными форматами (Apache Iceberg, Delta Lake или Hudi)
-Понимание принципов работы Kubernetes (опыт деплоя Spark-приложений или Airflow в K8s)
-Опыт работы с инструментами Data Quality (dbt, Great Expectations и аналоги)
-Базовое понимание ML-процессов (как модели потребляют данные, feature store)
Контакты: Откликнуться
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- SQL
- Scala
- Python
- PySpark
- Apache Spark
- Lakehouse
- Data Warehouse
- Data Lake
- Airflow
- Dagster
- Git
- CI/CD
- Kafka
- Spark Structured Streaming
- Apache Flink
- Apache Iceberg
- Delta Lake
- Hudi
- Kubernetes
- dbt
- Great Expectations
Возможные вопросы на собеседовании
Проверка понимания внутреннего устройства Spark для оптимизации производительности.
Расскажите, как работает механизм Shuffle в Spark и какие параметры конфигурации вы бы изменили для борьбы с Data Skew?
Оценка навыков оптимизации сложных запросов.
Как вы анализируете план выполнения SQL-запроса (Execution Plan)? На какие операторы обращаете внимание в первую очередь при поиске узких мест?
Проверка архитектурного мышления в контексте современных хранилищ.
В чем ключевые отличия и преимущества формата Apache Iceberg по сравнению с обычным Parquet в архитектуре Data Lake?
Оценка опыта работы с оркестрацией и отказоустойчивостью.
Как вы организуете обработку ошибок и повторные запуски (retries) в Airflow, чтобы обеспечить консистентность данных?
Проверка готовности к работе с основным стеком компании.
Учитывая, что ядро системы написано на Scala, какие основные различия в управлении памятью и типизации вы видите по сравнению с PySpark?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
