- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Data Engineer / Рекомендации
Оценка ИИWildberries — крупнейший ритейлер с огромными объемами данных, что гарантирует интересные инженерные вызовы. Стек технологий современный (Iceberg, Trino), а удаленный формат работы делает вакансию очень привлекательной.
Сложность вакансии
Оценка ИИРоль требует уверенного владения стеком Big Data (Hadoop, Spark, Trino) и специфического опыта работы с Greenplum и Iceberg. Основная сложность заключается в задачах по миграции архитектуры и оптимизации высоконагруженных ETL-процессов.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, однако для Senior Data Engineer в российском BigTech (уровня Wildberries) рыночный диапазон составляет от 300 000 до 500 000 рублей после вычета налогов. Предложение, скорее всего, будет соответствовать этим ожиданиям в зависимости от грейда кандидата.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Wildberries уже сейчас
Присоединяйтесь к команде Wildberries и создавайте высоконагруженные системы рекомендаций для миллионов пользователей!
Описание вакансии
Data Engineer / Рекомендации
Компания: Wildberries
*🔹*Что нужно делать
-Поддерживать пайплайны на Greenplum;
сопровождать и оптимизировать существующие ETL/ELT-процессы: мониторинг, диагностика деградаций, партиционирование, работа с каталогом;
-заниматься интеграциями новых источников;
-подключать новые продуктовые команды и внешние источники: технический ресёрч, проектирование схем интеграции, data contracts.
Взаимодействие с владельцами источников на уровне технических требований;
-участие в миграции: перепроектирование слоёв под Iceberg (partitioning, schema evolution, snapshot management), понимание компромиссов MPP vs object storage.
*🔹*Какой опыт и знания нужны
-Владеете опытом с Airflow как оркестратором;
-имеете работы с Hadoop (Spark/Yarn/Hdfs);
-имеете работы c Greenplum или другими MPP-системами;
-работали с Trino как query engine.
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Greenplum
- ETL
- ELT
- Apache Iceberg
- Apache Airflow
- Hadoop
- Apache Spark
- Apache YARN
- HDFS
- Trino
- Data Contracts
- MPP
- Object Storage
Возможные вопросы на собеседовании
Вакансия предполагает миграцию на Iceberg, важно понимать опыт кандидата с современными форматами таблиц.
Расскажите о вашем опыте работы с Apache Iceberg: какие преимущества он дает по сравнению с классическим Hive-подходом в контексте schema evolution?
Работа с Greenplum является ключевой частью текущих задач.
С какими основными проблемами производительности в Greenplum вы сталкивались и какие стратегии партиционирования использовали для их решения?
Trino используется как query engine, важно понимать навыки оптимизации запросов.
Как вы подходите к оптимизации запросов в Trino при работе с большими объемами данных в объектном хранилище?
Data Contracts упомянуты в задачах по интеграции новых источников.
Как вы организуете процесс внедрения Data Contracts при взаимодействии с продуктовыми командами?
Airflow — основной оркестратор в стеке.
Опишите ваш подход к обработке ошибок и обеспечению идемпотентности в сложных DAG-ах Airflow.
Похожие вакансии
DWH аналитик
Data инженер
Стажер HR-аналитик
Junior Data analyst
Аналитик по данным (Senior)
Python разработчик (DWH/Data Engineer)
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!