- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Data Engineer (ETL-миграция)
Оценка ИИИнтересный проект миграции в крупном секторе с современным стеком технологий и удаленным форматом работы, однако проектная занятость ограничена сроком от 5 месяцев.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена необходимостью глубокого знания как legacy-стека (Oracle, Informatica), так и современных инструментов (Greenplum, Spark, NiFi), а также спецификой телеком-домена.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, но для позиций Middle+/Senior Data Engineer в РФ рыночный диапазон составляет от 250 000 до 450 000 рублей в месяц. Проектная работа в телекоме обычно оплачивается по верхней границе рынка.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Примите участие в масштабной миграции ETL-систем телеком-гиганта — отправьте свое резюме прямо сейчас!
Описание вакансии
ID 3060
#Data #Engineer (ETL-миграция)
Middle+, Senior
Условия:
- Клиент: Телекоммуникации
- Длительность: от 5 месяцев, с возможным продлением
- Занятость: полная
- Гражданство: РФ
- Рабочий график: МСК ± 2
- Формат: Удаленно
- Плановый срок рассмотрения кандидата: 7±3 дн.
- Дополнительно: Все требования обязательны
Роль: Data Engineer (ETL-миграция)
Уровень: Middle+, Senior
Количество: 3
*❗️*Локация: РФ, удаленно
График: МСК ± 2
*❗️*Гражданство: РФ (обязательно)
#Обязательно: *❗️*
- Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек);
- Глубокий SQL: оконные функции, сложные джойны, иерархические запросы;
- Оптимизация SQL для highload (партиционирование, индексы, explain plans);
- Oracle (PL/SQL) и PostgreSQL;
- Greenplum и/или Clickhouse;
- Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow;
- Hadoop (HDFS) и Hive;
- Мониторинг ETL: Grafana/Prometheus или Victoria Metrics;
- Опыт работы с биллинговыми системами (телеком-домен).
- Потоковая обработка: Kafka Streams / Spark Streaming;
- Informatica PowerCenter (понимание мигрируемой системы);
- Бинарные форматы хранения в Hadoop;
- Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL;
- Patroni для кластеризации PostgreSQL/Greenplum;
- S3-хранилища;
- КриптоПро или защищенные каналы передачи данных.
- Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum);
- Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код;
- Написание и оптимизация SQL для витрин данных и ETL-процессов;
- Разработка DAG-ов в Airflow;
- Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы);
- Разработка Spark-джобов (PySpark) для больших объемов;
- Интеграция с Kafka для потоковой передачи;
- Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик;
- Разбор инцидентов по качеству данных и ошибкам загрузки;
- Code review.
#Важно, резюме должно отражать:
По каждому проекту: чем занимался, какие технологии использовал.
Ключевые компетенции для отбора:
миграция ETL-систем,
SQL (оконные функции, оптимизация),
Oracle PL/SQL,
PostgreSQL, Greenplum, Clickhouse,
Apache Spark (PySpark), NiFi, Airflow, Kafka,
Hadoop, Hive,
Grafana/Prometheus,
биллинг, телеком.
*⚡️**⚡️**⚡️*писать Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- SQL
- Prometheus
- Grafana
- PostgreSQL
- PySpark
- Apache Spark
- Hadoop
- Apache Airflow
- Apache Kafka
- Apache NiFi
- S3
- Hive
- HDFS
- ClickHouse
- Oracle PL/SQL
- Greenplum
- Informatica PowerCenter
Возможные вопросы на собеседовании
Проверка навыков оптимизации в Greenplum.
Расскажите о различиях в оптимизации запросов между PostgreSQL и Greenplum, особенно в контексте распределения данных (distribution keys).
Оценка опыта миграции логики.
С какими основными сложностями вы сталкивались при переносе бизнес-логики из Informatica PowerCenter в чистый SQL или Spark-джобы?
Проверка владения инструментами оркестрации.
Как вы организуете обработку ошибок и повторные запуски (retries) в сложных DAG-ах Airflow при работе с S3 и Greenplum?
Оценка навыков работы с высоконагруженными системами.
Опишите ваш подход к оптимизации SQL-запроса, который начал работать медленно на таблице с миллиардами строк: какие шаги в анализе explain plan вы предпримете?
Проверка знаний потоковой обработки.
