Data Engineer Middle+ / Senior

Описание вакансии

#вакансия #ML #ComputerVision #Python #удаленка #EvApps

Data Engineer Middle+ / Senior

Компания: EvApps

ЗП вилка до 200 на руки

Удаленно, РФ

Полная занятость

📰 Ищем Data Engineer для разработки data lakehouse решения для заказчика (работа под NDA).

Требования:

-Опыт работы Data Engineer от 3 лет;

-Опыт построения ETL/ELT пайплайнов в продакшн;

-Работали с большими объемами данных;

-Уверенно владеете Python;

-Имеете опыт обработки и трансформации данных (pandas, PySpark или аналоги);

-Работали с XML (lxml, ElementTree или аналоги);

-Понимаете форматы хранения данных (Parquet, columnar storage);

-Работали с S3 или аналогичными хранилищами;

-Понимаете архитектуру data lake / lakehouse и multi-layer подход (raw → processed → curated);

-Имеете опыт подготовки данных (нормализация, дедупликация, golden record / master data);

-Работали с реляционными БД (PostgreSQL, Greenplum, ClickHouse или аналоги) и SQL;

-Имеете опыт работы с Airflow или аналогами;

-Работали с Docker и CI/CD;

-Имеете опыт работы с облаками (Yandex Cloud, AWS, GCP);

-Работали с Git.

➕Будет плюсом:

-Опыт работы со Spark, Hadoop;

-Опыт работы с Delta Lake, Iceberg, Hudi.

💻 Обязанности:

-Разрабатывать и оптимизировать ETL-пайплайны;

-Обрабатывать и трансформировать XML-данные;

-Строить raw-слой (Parquet в S3) и витрины данных;

-Реализовывать нормализацию, дедупликацию и формирование "золотых" записей;

-Обеспечивать производительность обработки данных;

-Готовить решения к переносу в закрытый контур заказчика;

-Взаимодействовать с аналитиками, архитектором, DevOps и командой проекта.

Откликнуться с пометкой [Data Engineer] 👋 Откликнуться