- Страна
- Россия
- Зарплата
- 270 000 ₽ – 285 000 ₽
Data Engineer (ETL-миграция)
Оценка ИИИнтересный проект по миграции с четким стеком технологий и возможностью удаленной работы. Зарплата соответствует рынку для Senior-уровня, хотя и находится в узком диапазоне.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИВысокая сложность обусловлена необходимостью глубокого знания как legacy-стека (Oracle, Informatica), так и современных инструментов (Spark, Greenplum, Airflow), а также спецификой телеком-домена.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИПредложенная вилка 270-285 тыс. рублей соответствует средним рыночным значениям для Senior Data Engineer в России, однако для экспертов с глубоким знанием Informatica и Greenplum верхняя граница рынка может достигать 350-400 тыс. рублей.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Top Selection
Data Engineer (ETL-миграция)
от 270 000 до 285 000 ₽ за месяц
Формат работы: можно удалённо
*☑️* Чем предстоит заниматься
-Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
-Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код
-Написание и оптимизация SQL для витрин данных и ETL-процессов
-Разработка DAG-ов в Airflow
-Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы)
-Разработка Spark-джобов (PySpark) для больших объемов
-Интеграция с Kafka для потоковой передачи
-Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик
-Разбор инцидентов по качеству данных и ошибкам загрузки
-Code review
*☑️* Наши пожелания к кандидатам
-Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек)
-Глубокий SQL: оконные функции, сложные джойны, иерархические запросы
-Оптимизация SQL для highload (партиционирование, индексы, explain plans)
-Oracle (PL/SQL) и PostgreSQL
-Greenplum и/или Clickhouse
-Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow
-Hadoop (HDFS) и Hive
-Мониторинг ETL: Grafana/Prometheus или Victoria Metrics
-Опыт работы с биллинговыми системами (желательно телеком-домен)
-Будет плюсом:
-Потоковая обработка: Kafka Streams / Spark Streaming
-Informatica PowerCenter (понимание мигрируемой системы)
-Бинарные форматы хранения в Hadoop
-Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL
-Patroni для кластеризации PostgreSQL/Greenplum
-S3-хранилища
-КриптоПро или защищенные каналы передачи данных
Контакты: Откликнуться
*🔥* Подписаться на наши каналы / Откликнуться / Откликнуться
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- ETL
- Oracle
- Informatica
- Apache Airflow
- Apache NiFi
- Apache Kafka
- Greenplum
- SQL
- S3
- Apache Spark
- PySpark
- Grafana
- Prometheus
- PostgreSQL
- ClickHouse
- Hadoop
- HDFS
- Apache Hive
- PL/SQL
Возможные вопросы на собеседовании
Проверка понимания архитектурных различий при миграции.
Какие основные сложности вы видите при переносе логики из Informatica PowerCenter в SQL-код для Greenplum?
Оценка навыков оптимизации в распределенных системах.
Как вы будете оптимизировать PySpark джоб, если наблюдается значительный перекос данных (data skew)?
Проверка владения инструментами оркестрации.
Опишите ваш подход к обработке ошибок и повторным запускам (retries) в сложных DAG-ах Airflow при работе с внешними источниками.
Оценка опыта работы с NiFi.
Какие процессоры в NiFi вы бы использовали для эффективной перекачки данных из Oracle в S3 с учетом требований безопасности?
Проверка знаний специфики БД.
В чем ключевые отличия в подходах к индексации и партиционированию между Oracle и Greenplum при обработке больших объемов данных?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
