Senior Data Engineer (ETL-миграция)
Оценка ИИИнтересный проект миграции в крупном домене (телеком) с современным стеком технологий, однако ограничение по оформлению только через ИП может подойти не всем.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена необходимостью глубоких знаний как legacy-стека (Oracle, Informatica), так и современных инструментов (Spark, Airflow, Greenplum), а также спецификой телеком-биллинга.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИПредложенная зарплата (250-270к на руки) находится в пределах рыночной нормы для Senior-позиции в РФ, хотя для топовых специалистов в Data Engineering верхняя планка может достигать 350-400к.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Позиция: Senior Data Engineer (ETL-миграция)
ЗП: 250 000 - 270 000 на руки
Занятость: Полная
Формат работы: Удаленный
Локация: РФ, часовой пояс МСК ± 3ч
Оформление: только как ИП
Компания: Top Selection
Сфера проекта: телеком
Привет! Меня зовут Марина. *👋* Я представляю группу компаний Top Selection.
Мы занимаемся трудоустройством IT специалистов на проектную занятость.
На данный момент мы в поиске Senior Data Engineer (ETL-миграция) для участия в миграции ИС на Apache стек.
*✅* Требования
● Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек)
● Глубокий SQL: оконные функции, сложные джойны, иерархические запросы
● Оптимизация SQL для highload (партиционирование, индексы, explain plans)
● Oracle (PL/SQL) и PostgreSQL
● Greenplum и/или Clickhouse
● Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow
● Hadoop (HDFS) и Hive
● Мониторинг ETL: Grafana/Prometheus или Victoria Metrics
● Опыт работы с биллинговыми системами (желательно телеком-домен)
*➕* Как преимущество
● Потоковая обработка: Kafka Streams / Spark Streaming
● Informatica PowerCenter (понимание мигрируемой системы)
● Бинарные форматы хранения в Hadoop
● Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL
● Patroni для кластеризации PostgreSQL/Greenplum
● S3-хранилища
● КриптоПро или защищенные каналы передачи данных
*📋* Задачи
● Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
● Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код
● Написание и оптимизация SQL для витрин данных и ETL-процессов
● Разработка DAG-ов в Airflow
● Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы)
● Разработка Spark-джобов (PySpark) для больших объемов
● Интеграция с Kafka для потоковой передачи
● Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик
● Разбор инцидентов по качеству данных и ошибкам загрузки
● Code review
Откликнуться: Откликнуться
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- ETL
- Apache Spark
- PySpark
- Airflow
- NiFi
- Kafka
- Hadoop
- Hive
- Greenplum
- ClickHouse
- Oracle
- PostgreSQL
- SQL
- PL/SQL
- Informatica PowerCenter
- Grafana Senior
- Prometheus
- S3
- Kafka Streams
- Spark Streaming
Возможные вопросы на собеседовании
Проверка опыта миграции и понимания архитектурных различий.
Расскажите о самом сложном кейсе миграции ETL-процессов: с какими основными проблемами при переносе логики из Informatica в SQL вы сталкивались?
Оценка навыков оптимизации в highload системах.
Какие стратегии оптимизации запросов в Greenplum вы применяете при работе с таблицами объемом в несколько терабайт?
Проверка владения инструментами оркестрации.
Как вы организуете обработку ошибок и перезапуск зависимых задач в сложных DAG-ах Airflow при миграции данных?
Оценка навыков работы с потоковыми данными.
В каких случаях для миграции телеком-данных вы выберете Spark Streaming вместо пакетной обработки, и как обеспечите консистентность в Kafka?
Проверка знаний специфики СУБД.
В чем заключаются ключевые различия в подходах к индексации и хранению данных между PostgreSQL и ClickHouse в контексте аналитических задач?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
