- Страна
- Россия
Data Engineer (Senior)
Оценка ИИИнтересный стек технологий и масштабные задачи в ритейле, однако отсутствие четко указанной вилки зарплаты и работа через посредника немного снижают привлекательность.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИВысокая сложность обусловлена требованиями к глубокому знанию MPP-систем (Greenplum), ClickHouse и стека Big Data (Hadoop, Spark, Kafka), а также необходимостью иметь опыт Senior-уровня.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИДля позиции Senior Data Engineer в РФ/РБ с таким стеком (Greenplum, ClickHouse, Hadoop) рыночные предложения обычно начинаются от 300 000 рублей. Данная вакансия соответствует рыночному уровню для опытных специалистов, если итоговый оффер попадет в указанный диапазон.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Контакты для отклика
Откройте контакты, указанные в вакансии.
Описание вакансии
*🚀* Вакансия: Data Engineer (Senior) · ID: 83678
*📍* Локация: РФ,РБ
*🕐* Часовой пояс: МСК
*🏢* Клиент: Крупная ритейл-компания
*💰* Оплата: В течение 25 рабочих дней после подписания акта
*🧩* О проекте:
Развитие архитектуры хранилища данных (DWH), проектирование потоков данных и оптимизация производительности систем в крупном ритейле.
*🛠* Обязательные требования:
\ Python:* Опыт работы от 3-х лет (рассматриваются сильные backend-разработчики, активно использующие Python).
\ Базы данных:*
\ Опыт работы с ClickHouse*;
\ Опыт работы с Greenplum либо отличное знание PostgreSQL*;
\* Глубокое знание SQL (DDL, DML), опыт оптимизации запросов;
\* Понимание архитектур MPP-систем.
\ Big Data & ETL:* Навыки работы с экосистемой Hadoop (HDFS/YARN/Spark), Kafka, Nifi, Sqoop, Flume и др.
\ Принципы DWH:* Знание принципов построения хранилищ данных.
\ Инструменты:* Git, Jira, Confluence.
\ Мониторинг:* Опыт сопровождения и мониторинга информационных систем.
*💼* Задачи на проекте:
\* Проектирование и разработка потоков данных на ETL/ELT инструментах;
\* Имплементация кастомных трансформаций данных;
\* Проектирование и построение прототипов и витрин данных;
\* Анализ производительности и масштабирование существующих систем;
\* Оптимизация SQL-запросов и структур баз данных;
\* Разработка процедур на языке PL/pgSQL;
\* Развитие архитектуры DWH, анализ и выбор оптимальных технологий и инструментов;
\* Создание и актуализация базы знаний для пользователей DWH.
*✉️* Как откликнуться:
Пишите в личные сообщения или в телеграмм: Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- ClickHouse
- Greenplum
- PostgreSQL
- SQL
- Hadoop
- HDFS
- Apache Spark
- Apache Kafka
- Apache NiFi
- ETL
- Git
- Jira
Возможные вопросы на собеседовании
Проверка понимания специфики распределенных систем, заявленных в требованиях.
Расскажите об особенностях распределения данных (distribution keys) в Greenplum и как неправильный выбор ключа влияет на производительность JOIN-операций?
Вакансия предполагает работу с ClickHouse для аналитики.
В каких случаях в ClickHouse лучше использовать движок ReplacingMergeTree вместо обычного MergeTree, и какие есть нюансы при окончательной сборке данных?
Оценка навыков оптимизации, указанных в задачах.
Какие стратегии оптимизации SQL-запросов вы применяете, когда сталкиваетесь с проблемой 'data skew' в Spark или MPP-базах?
Проверка владения Python в контексте Data Engineering.
Как вы организуете обработку больших файлов, которые не помещаются в оперативную память, используя Python? Расскажите о генераторах или использовании чанков в pandas/dask.
Проверка опыта работы с инструментами поставки данных.
Опишите ваш опыт интеграции Kafka и NiFi: как вы обеспечиваете гарантию доставки 'exactly once' при передаче данных в DWH?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
