- Страна
- Россия
Data Engineer (разработчик DWH)
Оценка ИИX5 Tech — стабильный и технологичный работодатель с сильной инженерной культурой. Вакансия предлагает работу с актуальным стеком технологий и гибкий формат работы, что высоко ценится на рынке.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИРоль требует уверенного владения современным стеком Big Data (Trino, Iceberg, Spark) и понимания концепции Lakehouse, что делает её сложной для новичков, но стандартной для опытных инженеров данных.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, однако для позиции Data Engineer уровня Middle/Senior в Москве рыночный диапазон составляет от 250 000 до 450 000 рублей. X5 Tech обычно предлагает конкурентоспособные условия, соответствующие медиане рынка.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
X5 Tech
Data Engineer (разработчик DWH)
Оформление: официальное, с белой зарплатой
График: гибкий
Формат работы: гибрид или удалённо
*☑️* Чем предстоит заниматься
-Сбор требований с бизнес-заказчиков и анализ источников данных
-Разработка, реализация и поддержка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
-Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
-Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю
*☑️* Наши пожелания к кандидатам
-Общее представление о стеке технологий Lakehouse
-Понимание различия работы между BigData/Lakehouse и с данными обычного размера
-Знание SQL (индексы, функции, оптимизация, профилирование производительности)
-Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.)
-Умение работать с Git (знание команд git pull/commit/push)
-Опыт работы с DBT, Cosmos
-Представление о работе с Trino
-Понимание устройства Iceberg, форматов данных
-Понимание работы с minio или любого другого хранилища на основе S3
-Опыт использования системами ведения проектов и документации
-Знания основ программирования (JAVA, Python)
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Trino
- Apache Iceberg
- S3
- Apache Spark
- Apache Airflow
- Apache Kafka
- Apache Flink
- SQL
- Git
- dbt
- MinIO
- Python
- Java
- PostgreSQL
Возможные вопросы на собеседовании
Проверка понимания архитектуры хранения данных, заявленной в вакансии.
В чем ключевые преимущества формата Apache Iceberg по сравнению с обычным Parquet в контексте Lakehouse?
Вакансия предполагает работу с Trino, важно понимать механизмы оптимизации.
Как вы подходите к оптимизации сложных SQL-запросов в Trino при работе с большими объемами данных?
Проверка навыков работы с инструментами трансформации данных.
Расскажите о вашем опыте работы с dbt и Cosmos. Как вы организуете тестирование моделей данных?
Оценка понимания специфики распределенных вычислений.
В чем основные отличия в подходах к обработке данных в Spark по сравнению с классическими реляционными СУБД?
Проверка навыков интеграции и работы с объектными хранилищами.
С какими проблемами производительности вы сталкивались при работе с S3/MinIO и как их решали?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
