- Страна
- Россия
- Зарплата
- 350 000 ₽ – 380 000 ₽
Senior Data Engineer
Оценка ИИСтабильная компания, современный технологический стек и возможность удаленной работы. Однако предлагаемая зарплата находится на нижней границе рынка для уровня Senior с таким широким набором требований.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИВысокая сложность обусловлена требованием глубоких знаний методологии Data Vault 2.0, опыта работы с широким стеком (Spark, Kafka, Airflow, dbt) и стажем более 5 лет. Роль предполагает не только разработку, но и архитектурное проектирование и менторство.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИПредлагаемая зарплата 350 000 - 380 000 RUB (gross) соответствует среднему уровню для Middle+/Senior позиций в РФ, однако для Senior Data Engineer с опытом 5+ лет и знанием Data Vault 2.0 рыночные предложения часто начинаются от 450 000 RUB и выше. Оформление по ГПХ также может быть менее привлекательным, чем ТК РФ.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Senior
Data инженер
Компания: RedLab
Локация: РФ, РБ
Гражданство: РФ, РБ
Опыт: больше 5-ти лет
Формат работы: удаленно
Занятость: Полная/проектная
ЗП: 350 000 - 380 000 RUB (гросс), оформление по ГПХ
Требования:
• Опыт работы Data Engineer от 5 лет.
• Знание методологии Data Vault 2.0
• Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов и сервисов обработки данных.
• Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных.
• Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse решений.
• Практический опыт работы с Apache Spark.
• Опыт работы с Apache Airflow, Apache Kafka
• Опыт работы с системами потоковой обработки данных
• Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro;
• Опыт работы с экосистемой Hadoop/Apache Iceberg или современными платформами хранения и обработки данных.
• Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum).
• Уверенное владение Git и понимание процессов CI/CD.
• Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги).
• Понимание принципов построения отказоустойчивых и масштабируемых решений.
• Опыт использования dbt для построения трансформационных слоев данных.
• Практика внедрения Data Quality решений (Great Expectations, Soda и др.).
• Опыт работы с Data Catalog и Data Governance инструментами.
Задачи на проекте:
• Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных.
• Разработка и оптимизация batch- и streaming-пайплайнов для загрузки, трансформации и публикации данных.
• Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных.
• Проектирование моделей данных для аналитических и операционных сценариев.
• Оптимизация производительности процессов обработки данных и SQL-запросов.
• Обеспечение качества данных: реализация механизмов валидации, мониторинга и контроля полноты данных.
• Участие в проектировании архитектуры платформы данных и выборе технологических решений.
• Внедрение и развитие практик DataOps и CI/CD для процессов обработки данных.
• Подготовка технической документации и архитектурных артефактов.
• Проведение код-ревью, техническое менторство и участие в развитии команды.
Присылайте резюме и контактные данные на email: Откликнуться
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Python
- Scala
- Java
- ETL
- ELT
- SQL
- Data Warehouse
- Data Lake
- Apache Spark
- Apache Airflow
- Apache Kafka
- HDFS
- Parquet
- Avro
- Hadoop
- Apache Iceberg
- PostgreSQL
- Oracle
- ClickHouse
- Greenplum
- Git
- CI/CD
- Jira
- Confluence
- dbt
- Great Expectations
- Soda
- Data Vault 2.0
- Data Quality
- Data Governance
Возможные вопросы на собеседовании
Вакансия требует знания Data Vault 2.0, что критично для масштабируемых DWH.
Расскажите о вашем практическом опыте применения методологии Data Vault 2.0. Какие основные преимущества и сложности вы выделили для себя?
В стеке указаны Spark и Kafka, что подразумевает работу с потоками.
Как вы подходите к обеспечению семантики 'exactly-once' при обработке данных в связке Spark Streaming и Kafka?
Упоминается работа с Greenplum и Clickhouse.
В каких случаях вы выберете Greenplum, а в каких Clickhouse для аналитических задач? Опишите ключевые различия в их архитектуре.
Data Quality является одной из задач на проекте.
Какие метрики качества данных вы считаете наиболее критичными и как вы настраивали автоматизированный мониторинг с помощью Great Expectations или аналогичных инструментов?
Роль Senior подразумевает оптимизацию.
Опишите ваш самый сложный кейс по оптимизации производительности Spark-приложения. Какие инструменты профилирования вы использовали?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
