- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Инженер данных Бизнес-домена
Оценка ИИИнтересный стек технологий (Greenplum, ClickHouse, Kafka) и понятная бизнес-задача в области HR-аналитики. Возможность удаленной работы из СНГ и работа по ИП/СМЗ делают вакансию привлекательной для опытных инженеров.
Сложность вакансии
Оценка ИИРоль требует глубоких практических знаний специфических инструментов, таких как Greenplum и ClickHouse, а также продвинутого владения SQL и навыков работы с Kafka в продакшене. Высокая планка ответственности за архитектуру DWH и интеграции через API повышает сложность позиции.
Анализ зарплаты
Оценка ИИДля позиции Middle/Middle+ Data Engineer с таким стеком (Greenplum, ClickHouse, Kafka) рыночные зарплаты в РФ и СНГ обычно находятся в диапазоне от 250 000 до 400 000 рублей. В объявлении зарплата не указана, но требования соответствуют верхнему сегменту мидл-уровня.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Отправьте свое резюме @veroneko, чтобы стать ключевым звеном в аналитике HR-данных и работать с современным стеком Greenplum и ClickHouse!
Описание вакансии
ID 2611
Инженер данных Бизнес-домена
Middle/Middle+
🌍 Локация: РФ/РБ и СНГ
💼Сотрудничество : по ИП РФ, РБ СМЗ РБ
Проект:
В команде данных и аналитики по сотрудникам мы строим систему, которая отвечает на главные вопросы бизнеса: «Кто наши люди? Как они растут? Где зоны для улучшения?». Нам нужен инженер данных, который превратит разрозненные кадровые события в чистый, надежный и готовый к анализу слой данных.
Требования:
• ETL/ELT пайплайны
• работа с API
• обработка больших объемов данных
• SQL на продвинутом уровне:
• сложные join’ы, оконные функции
• оптимизация запросов под большие объемы
• понимание планов выполнения
• Практический опыт работы (не «знаком», а делал в проде):
• Greenplum (понимание MPP, распределение данных, оптимизация)
• ClickHouse (построение витрин, работа с большими таблицами)
• MS SQL Server
• Kafka:
• опыт работы с consumer/producer
• понимание семантики доставки и обработки сообщений
• Интеграции:
• уверенная работа с REST API (пагинация, ретраи, обработка ошибок)
• S3-совместимые хранилища:
• чтение/запись, организация данных, партиционирование
• Желательно:
• Опыт работы с Trino (федеративные запросы, работа с несколькими источниками)
• Опыт построения DWH (staging / dds / marts)
• Понимание data lineage и контроля качества данных
• Опыт orchestration (Airflow или аналоги)
• Важна самостоятельность и ответственность за результат
Задачи:
• Разработка и поддержка пайплайнов загрузки и трансформации HR-данных
• Интеграция источников (API, Kafka, БД, файловые хранилища)
• Построение витрин и обеспечение их консистентности
• Оптимизация производительности и стоимости обработки данных
• Обеспечение стабильности (обработка сбоев, ретраи, мониторинг)
🔎 Вопросы/резюме - в ЛС Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- SQL
- Airflow
- Kafka
- ETL
- REST API
- S3
- Data Lineage
- ELT
- ClickHouse
- Trino
- Data Warehouse
- MS SQL Server
- Greenplum
Возможные вопросы на собеседовании
Вакансия требует глубокого понимания MPP-систем.
Расскажите о принципах распределения данных (distribution keys) в Greenplum и как неправильный выбор ключа влияет на производительность джойнов?
Работа с ClickHouse предполагает построение витрин на больших объемах.
Какие движки таблиц в ClickHouse вы использовали для построения витрин и в чем преимущество семейства ReplacingMergeTree в контексте HR-данных?
Упоминается работа с Kafka (consumer/producer).
Как вы обеспечиваете семантику 'exactly-once' или 'at-least-once' при обработке сообщений из Kafka в ETL-процессах?
Требуется уверенная работа с REST API.
Как вы организуете процесс инкрементальной загрузки данных через API, если источник не поддерживает передачу даты изменения объекта?
Важен опыт оптимизации запросов.
Опишите ваш алгоритм действий при анализе плана выполнения (EXPLAIN) медленного запроса в MS SQL Server или Greenplum. На какие операторы вы смотрите в первую очередь?
Похожие вакансии
ML разработчик (Middle)
Разработчик MLOps (Python)
ML разработчик Middle Middle+
Middle Data Science (Проект Альфа)
Middle / Middle+ Инженер данных Бизнес-домена
Data инженер Middle+
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Страна
- Россия