Data Engineer (ETL-миграция)

Описание вакансии

ID 3060

#Data #Engineer (ETL-миграция)

Middle+, Senior

Условия:

• Клиент: Телекоммуникации
• Длительность: от 5 месяцев, с возможным продлением
• Занятость: полная
• Гражданство: РФ
• Рабочий график: МСК ± 2
• Формат: Удаленно
• Плановый срок рассмотрения кандидата: 7±3 дн.
• Дополнительно: Все требования обязательны

#Позиция:

Роль: Data Engineer (ETL-миграция)

Уровень: Middle+, Senior

Количество: 3

*❗️*Локация: РФ, удаленно

График: МСК ± 2

*❗️*Гражданство: РФ (обязательно)

#Обязательно: *❗️*

• Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек);
• Глубокий SQL: оконные функции, сложные джойны, иерархические запросы;
• Оптимизация SQL для highload (партиционирование, индексы, explain plans);
• Oracle (PL/SQL) и PostgreSQL;
• Greenplum и/или Clickhouse;
• Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow;
• Hadoop (HDFS) и Hive;
• Мониторинг ETL: Grafana/Prometheus или Victoria Metrics;
• Опыт работы с биллинговыми системами (телеком-домен).

#Желательно:

• Потоковая обработка: Kafka Streams / Spark Streaming;
• Informatica PowerCenter (понимание мигрируемой системы);
• Бинарные форматы хранения в Hadoop;
• Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL;
• Patroni для кластеризации PostgreSQL/Greenplum;
• S3-хранилища;
• КриптоПро или защищенные каналы передачи данных.

#Задачи:

• Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum);
• Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код;
• Написание и оптимизация SQL для витрин данных и ETL-процессов;
• Разработка DAG-ов в Airflow;
• Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы);
• Разработка Spark-джобов (PySpark) для больших объемов;
• Интеграция с Kafka для потоковой передачи;
• Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик;
• Разбор инцидентов по качеству данных и ошибкам загрузки;
• Code review.

#Важно, резюме должно отражать:

По каждому проекту: чем занимался, какие технологии использовал.

Ключевые компетенции для отбора:

миграция ETL-систем,

SQL (оконные функции, оптимизация),

Oracle PL/SQL,

PostgreSQL, Greenplum, Clickhouse,

Apache Spark (PySpark), NiFi, Airflow, Kafka,

Hadoop, Hive,

Grafana/Prometheus,

биллинг, телеком.

*⚡️**⚡️**⚡️*писать Откликнуться