Middle Data Engineer
Хорошая вакансия с четко описанным современным стеком технологий и гибким форматом работы. Компания работает в понятном B2B домене, что обещает интересные задачи по обработке данных.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Позиция требует уверенного владения классическим стеком (Airflow, SQL, Python) и понимания специфики колоночных БД (ClickHouse). Уровень Middle предполагает самостоятельность в разработке пайплайнов и проектировании витрин.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Зарплата в объявлении не указана, но для Middle Data Engineer с опытом 1.5–3 года на российском рынке медиана составляет около 220 000 – 280 000 рублей. Предложение будет конкурентоспособным, если попадет в этот диапазон.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Описание вакансии
Умная Логистика
Middle Data Engineer
Опыт работы: 1–3 года
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид или офис
*☑️* Чем предстоит заниматься
-Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse
-Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python
-Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow
-Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset
-Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы)
-Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL
*☑️* Наши пожелания к кандидатам
-Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет
-Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN)
-Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов
-Практика работы с СУБД и хранилищами:
-PostgreSQL (реляционное моделирование, индексы, транзакции)
-ClickHouse (семейство движков MergeTree, специфика колоночного хранения)
-S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC)
-Уверенный Python: Написание чистого, структурированного кода для задач обработки данных
-Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset)
-Навыки работы с Git, Docker и Linux-окружением
-Будет плюсом:
-Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ)
-Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera)
-Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset
-Понимание логистического или B2B SaaS-домена
Контакты: Откликнуться
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.

Навыки
- Git
- Python
- Linux
- SQL
- dbt
- PostgreSQL
- Docker
- PySpark
- Apache Spark
- ETL
- Apache Airflow
- Apache Kafka
- S3
- ELT
- Great Expectations
- ClickHouse
- RabbitMQ
- Data Lake
- Apache Superset
- DWH
- Pandera
Возможные вопросы на собеседовании
Проверка понимания специфики ClickHouse, заявленной в требованиях.
Расскажите о различиях между движками семейства MergeTree в ClickHouse. В каких случаях вы бы выбрали ReplacingMergeTree?
Оценка навыков работы с основным инструментом оркестрации.
Как вы обеспечиваете идемпотентность ваших DAG в Apache Airflow, и что такое механизм backfill?
Проверка навыков оптимизации производительности БД.
На что вы в первую очередь смотрите в выводе EXPLAIN ANALYZE при оптимизации медленного запроса в PostgreSQL?
Оценка опыта работы с большими данными и форматами хранения.
В чем преимущества использования формата Parquet при хранении данных в S3 по сравнению с CSV или JSON?
Проверка архитектурного мышления при построении витрин.
Как бы вы спроектировали процесс поставки данных для Apache Superset, чтобы минимизировать нагрузку на основную базу данных?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.

