Инженер данных мастер-систем / Data Engineer
Оценка ИИMelon Fashion Group — крупный и стабильный игрок на рынке с интересными технологическими задачами. Вакансия предлагает гибкий формат работы и работу с современным стеком (Airflow, Kafka, ClickHouse), что отлично подходит для профессионального роста.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Оценка ИИРоль требует глубоких знаний в области MDM и интеграционных паттернов. Необходимо владеть не только стандартным стеком (SQL, Python), но и понимать специфику CDC, потоковой обработки и обеспечения качества данных.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, однако для Middle Data Engineer в Санкт-Петербурге и Москве рыночный диапазон составляет от 200 000 до 350 000 рублей. Предложение Melon Fashion Group, вероятно, находится в этих пределах, учитывая масштаб компании.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
#middle #удаленка #гибрид #офис
Melon Fashion Group. IT
Инженер данных мастер-систем / Data Engineer
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид или офис
*☑️* Чем предстоит заниматься
-Проектировать структуры операционных хранилищ и модели мастер-данных
-Разрабатывать процессы загрузки, обработки, хранения и передачи данных
-Создавать пакетные и потоковые интеграции между информационными системами
-Настраивать получение изменений из систем-источников, включая CDC-механизмы
-Реализовывать правила нормализации, сопоставления, дедупликации и консолидации данных
-Обеспечивать хранение истории изменений мастер-данных
-Готовить данные для передачи в DWH и другие системы-потребители
-Разрабатывать проверки качества данных, технические и бизнес-сверки
-Настраивать мониторинг, логирование и обработку ошибок
-Анализировать причины расхождений, задержек и сбоев в интеграционных процессах
-Участвовать в выборе архитектурных и технологических решений
-Сопровождать и развивать разработанные решения в промышленной эксплуатации
*☑️* Наши пожелания к кандидатам
-Уверенное владение SQL
-Опыт разработки на Python
-Опыт проектирования структур и моделей хранения данных
-Опыт создания ETL- или ELT-процессов
-Понимание принципов пакетной и потоковой обработки данных
-Понимание интеграционных паттернов и способов передачи данных между системами
-Навыки работы с реляционными СУБД
-Понимание механизмов обеспечения целостности и консистентности данных
-Опыт настройки логирования, мониторинга и обработки ошибок
-Умение самостоятельно прорабатывать техническое решение и доводить его до промышленной эксплуатации
-Будет плюсом:
-Опыт работы с Kafka, Flink или Debezium
-Практический опыт реализации CDC-процессов
-Опыт разработки процессов в Apache Airflow
-Опыт работы с ClickHouse
-Участие в создании MDM-решений, мастер-систем или операционных хранилищ
-Опыт реализации правил сопоставления, дедупликации и консолидации данных
-Опыт построения систем контроля качества данных и автоматизированных сверок
-Понимание событийно-ориентированной архитектуры
-Опыт интеграции с API, брокерами сообщений и внешними информационными системами
-Опыт работы с Git, CI/CD и контейнеризацией
Контакты: Откликнуться
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- SQL
- Python
- ETL
- ELT
- Kafka
- Apache Flink
- Debezium
- CDC
- Apache Airflow
- ClickHouse
- MDM
- Git
- CI/CD
- Docker
Возможные вопросы на собеседовании
Проверка понимания архитектуры мастер-данных и способов их синхронизации.
Расскажите о вашем опыте реализации CDC-механизмов. Какие инструменты вы использовали и с какими сложностями сталкивались?
Оценка навыков проектирования надежных систем.
Как вы организуете мониторинг и обработку ошибок в ETL-процессах, чтобы минимизировать риск потери данных?
Проверка знаний в области качества данных (Data Quality).
Какие методы дедупликации и консолидации данных вы применяли на практике при создании MDM-решений?
Оценка владения современным стеком обработки данных.
В каких случаях вы предпочтете использование Kafka и Flink вместо классической пакетной обработки в Airflow?
Проверка навыков работы с базами данных.
Как обеспечить консистентность данных при передаче информации из нескольких разнородных систем-источников в единое хранилище?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
