- Страна
- Россия
Senior Big Data Engineer (Data Platform)
Оценка ИИСильная инженерная команда, современный стек технологий (Iceberg, Trino, K8s) и фокус на инновации (AI-native). Lamoda Tech известна своей высокой инженерной культурой и интересными задачами в масштабах крупного e-commerce.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИРоль требует глубокой экспертизы в широком стеке технологий (Spark, Iceberg, Airflow, K8s) и опыта проектирования сложных архитектур. Дополнительным вызовом является ожидание AI-native подхода к разработке.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, однако для позиции Senior Big Data Engineer в Москве рыночный диапазон составляет от 350 000 до 550 000 рублей после налогов. Lamoda Tech обычно предлагает конкурентоспособные условия, соответствующие верхним границам рынка для опытных инженеров.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Lamoda Tech
Senior Big Data Engineer (Data Platform)
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид
*☑️* Чем предстоит заниматься
-Разрабатывать и совершенствовать лучшую на рынке платформу данных электронной коммерции нового поколения
-Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino
-Оптимизировать действующие пайплайны и джобы на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать
-Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с data ops для развития дата-платформы
-Анализировать и внедрять инструменты инжиниринга данных (Lineage, DQ)
-Проектировать хранилища данных на основе k8s, настраивать производительность, мониторинг, планировать емкости кластера и другой инфраструктуры - думать над тем что и как грузить и в каких партициях
-Решать задачи, связанные с внедрением облачной инфраструктуры - разрабатывать новую архитектуру хранилища
-Проводить code review и принимать участие в архитектурных решениях по дата платформе в команде
*☑️* Наши пожелания к кандидатам
-Kubernetes - понимание ресурсной модели, просмотр конфигураций, troubleshooting
-Опыт работы с Hadoop (HDFS, Hive Metastore)
-Опыт работы со Spark (spark SQL, streaming, понимание ньюансов работы с pyspark)
-Apache Icberg – владение процедурами, snapshots, maintenance
-Глубокое понимание Airflow (2, 3) – идемпотентность, assets, backfills
-Уверенное знание Git, CI/CD
-Python, Scala/Java – ООП, проектирование библиотек, интеграционные/юнит тесты
-Хорошее понимание СУБД, SQL
-Будет плюсом:
-Опыт работы с Docker (уверенное владение для поднятия локального окружения проекта)
-Опыт работы с Kafka – понимание архитектуры и слабых мест
-Опыт с облачными технологиями: преимущественно Yandex Cloud
-Опыт с Clickhouse
-AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG
Контакты: Откликнуться / Telegram Откликнуться
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Apache Spark
- Apache Airflow
- Apache Iceberg
- Kubernetes
- Hadoop
- Trino
- Python
- Scala
- Java
- SQL
- Kafka
- ClickHouse
- Docker
- CI/CD
- Git
- Yandex Cloud
Возможные вопросы на собеседовании
Проверка понимания внутреннего устройства Spark и умения решать проблемы производительности.
Расскажите о вашем опыте оптимизации Spark-джобов: какие техники (skew join handling, broadcast, partitioning) вы применяли и как мониторили результат?
Оценка практического опыта работы с современными форматами таблиц, заявленными в вакансии.
В чем основные преимущества Apache Iceberg перед классическим Hive, и с какими сложностями при обслуживании snapshots вы сталкивались?
Проверка навыков работы с инфраструктурой, так как платформа базируется на k8s.
Как вы подходите к планированию ресурсов и настройке мониторинга для Big Data нагрузок внутри Kubernetes?
Оценка архитектурного мышления и понимания принципов надежности данных.
Как вы обеспечиваете идемпотентность в сложных Airflow DAG-ах, особенно при выполнении backfills за длительные периоды?
Проверка готовности кандидата использовать современные AI-инструменты в работе.
Как вы интегрируете AI-native инструменты (например, Claude Code или LLM-агентов) в свой ежедневный процесс разработки и тестирования?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
