- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Data Engineer - Middle+ / Senior
Оценка ИИИнтересный проект с серьезным Big Data стеком и долгосрочной перспективой. Однако отсутствие указанной зарплаты и требование обязательного присутствия в офисе на старте могут снижать привлекательность для части кандидатов.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена требованием обязательного опыта работы со Spark именно на Java, а также необходимостью работы с огромными массивами данных (миллиарды строк). Требуется глубокая экспертиза в Greenplum и ClickHouse.
Анализ зарплаты
Оценка ИИДля позиций Middle+/Senior Data Engineer в Москве рыночный диапазон составляет 250 000 – 450 000 рублей. Данная вакансия предполагает работу с высоконагруженными системами, что обычно оплачивается по верхней границе рынка.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Откликайтесь, чтобы работать с миллиардами строк данных в масштабном Big Data проекте!
Описание вакансии
ID 3134
Data Engineer - Middle+ / Senior
гибрид в Москве на Вавилова - договорной формат, на старте 3 дня и более может быть в офисе, далее опционально
Описание проекта: Подготовка и визуализация данных для финансового департамента
Продолжительность: Год+
*❗️**❗️*Локация: Москва
Требования:
● Опыт работы с Apache Spark (Java) от 1 года - ОБЯЗАТЕЛЬНО
● Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет
● Опыт работы с Hadoop (HDFS, Hive)
● Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных
● Опыт оптимизации ETL-пайплайнов и SQL кода
● Продвинутые знания SQL.
● Понимание принципов работы распределенных систем.
● Готовность осваивать Java для использования Spark
Основные задачи:
● Разработка ETL на Apache Spark (Java стек)
● Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse);
● Разработка витрин данных в Greenplum и ClickHouse
● Оркестрация ETL-процессов.
● Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль).
● Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset.
Стек технологий:
HDFS, Greenplum, Clickhouse, Apache Spark, Apache Airflow, Python, Qlik Sense, Apache Superset, PL/Pg SQL, OpenShift, Bitbucket, Jira & Confluence, Docker, Kubernetes, Kibana, Grafana
Описание потоков данных:
HDFS > Spark > Hive > Greenplum > Clickhouse > Superset
ВАЖНО, это BIG DATA, речь идет о миллиардах строк
Писать Откликнуться*⚡️**⚡️**⚡️**⚡️*
*🎉* Залетайте скорее: Мемы по утрам: коты, кино, абсурд из сети. Заходи на минуту - выйдешь с хорошим настроением. | InsideAds
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Apache Spark
- Java
- Greenplum
- ClickHouse
- PostgreSQL
- Hadoop
- HDFS
- Hive
- ETL
- SQL
- Apache Airflow
- Python
- Qlik Sense
- Apache Superset
- OpenShift
- Docker
- Kubernetes
- Kibana
- Grafana
Возможные вопросы на собеседовании
Вакансия предполагает работу с миллиардами строк, поэтому важно понимать методы оптимизации.
Какие стратегии оптимизации Spark-джобов вы применяли при работе с терабайтными объемами данных в HDFS?
В стеке указаны обе СУБД, важно понимать критерии выбора между ними для витрин данных.
В каких случаях для финансовой отчетности вы выберете Greenplum, а в каких — ClickHouse?
Проект использует Java-стек для Spark, что встречается реже, чем PySpark.
С какими основными сложностями вы сталкивались при разработке ETL на Java Spark по сравнению с Python-подходом?
Оркестрация — одна из ключевых задач роли.
Как вы организуете SLA-контроль и обработку ошибок (retries) в сложных цепочках Airflow?
Важна чистота и производительность кода.
Расскажите о самом сложном случае оптимизации SQL-запроса в вашей практике: что было «до» и чего удалось достичь?
Похожие вакансии
Senior Data Engineer
ML Engineer, Senior
Data Scientist Senior
Senior MLOps инженер
Senior Data Engineer (Python, PostgreSQL)
Senior Data Scientist
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!