Data Engineer - Middle+ / Senior

Описание вакансии

Data Engineer - Middle+ / Senior

Описание проекта: Подготовка и визуализация данных для финансового департамента

Продолжительность: Год+

Локация: Москва

Формат работы: гибрид в Москве на Вавилова - договорной формат, на старте 3 дня и более может быть в офисе, далее опционально

Ставка: 2000 с НДС, оплата поквартально

Требования:

● Опыт работы с Apache Spark (Java) от 1 года.

● Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет

● Опыт работы с Hadoop (HDFS, Hive)

● Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных

● Опыт оптимизации ETL-пайплайнов и SQL кода

● Продвинутые знания SQL.

● Понимание принципов работы распределенных систем.

● Готовность осваивать Java для использования Spark

Основные задачи:

● Разработка ETL на Apache Spark (Java стек)

● Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse);

● Разработка витрин данных в Greenplum и ClickHouse

● Оркестрация ETL-процессов.

● Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль).

● Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset.

Стек технологий:

HDFS, Greenplum, Clickhouse, Apache Spark, Apache Airflow, Python, Qlik Sense, Apache Superset, PL/Pg SQL, OpenShift, Bitbucket, Jira & Confluence, Docker, Kubernetes, Kibana, Grafana

Описание потоков данных:

HDFS > Spark > Hive > Greenplum > Clickhouse > Superset

ВАЖНО, это BIG DATA, речь идет о миллиардах строк

❗️Важно

При отправке кандидата приложите информацию:

ФИО

Дата рождения

Локация

Грейд

Рейт (ставка/час)

Возможная дата старта на новый проект

Планы на отпуск в ближайшие 6 мес

Штатный/партнерский/рынок

Скрининг по заявленным требованиям к вакансии (проставить +-)

Откликнуться на запрос: ОткликнутьсяПо вопросам партнерского сотрудничества: Откликнуться