yandex
MiddleУдалённоПолная занятость

Middle Data Engineer

ИИОценка ИИ

Хорошая вакансия с четко описанным современным стеком технологий и гибким форматом работы. Компания работает в понятном B2B домене, что обещает интересные задачи по обработке данных.

Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.


Вакансия из открытого источника
Пожаловаться

Сложность вакансии

ЛегкоСложно
ИИОценка ИИ

Позиция требует уверенного владения классическим стеком (Airflow, SQL, Python) и понимания специфики колоночных БД (ClickHouse). Уровень Middle предполагает самостоятельность в разработке пайплайнов и проектировании витрин.

Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.

Анализ зарплаты

Медиана250 000 ₽
Рынок180 000 ₽ – 320 000 ₽
ИИОценка ИИ

Зарплата в объявлении не указана, но для Middle Data Engineer с опытом 1.5–3 года на российском рынке медиана составляет около 220 000 – 280 000 рублей. Предложение будет конкурентоспособным, если попадет в этот диапазон.

Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.

Сопроводительное письмо

Составьте сопроводительное письмо под эту вакансию с вашим резюме

Иллюстрация сопроводительного письмаИллюстрация сопроводительного письма

Описание вакансии

Умная Логистика

Middle Data Engineer

Опыт работы: 1–3 года

Полная занятость

График: 5/2

Формат работы: удалённо или гибрид или офис

*☑️* Чем предстоит заниматься

-Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse

-Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python

-Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow

-Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset

-Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы)

-Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL

*☑️* Наши пожелания к кандидатам

-Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет

-Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN)

-Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов

-Практика работы с СУБД и хранилищами:

-PostgreSQL (реляционное моделирование, индексы, транзакции)

-ClickHouse (семейство движков MergeTree, специфика колоночного хранения)

-S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC)

-Уверенный Python: Написание чистого, структурированного кода для задач обработки данных

-Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset)

-Навыки работы с Git, Docker и Linux-окружением

-Будет плюсом:

-Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ)

-Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera)

-Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset

-Понимание логистического или B2B SaaS-домена

Контакты: Откликнуться

*🔥* Подписаться на наши каналы / @best_itjob / @it_rab

Больше похожих вакансий + автоотклики с ИИ

Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.

Больше похожих вакансий + автоотклики с ИИ

Навыки

  • Git
  • Python
  • Linux
  • SQL
  • dbt
  • PostgreSQL
  • Docker
  • PySpark
  • Apache Spark
  • ETL
  • Apache Airflow
  • Apache Kafka
  • S3
  • ELT
  • Great Expectations
  • ClickHouse
  • RabbitMQ
  • Data Lake
  • Apache Superset
  • DWH
  • Pandera

Возможные вопросы на собеседовании

Проверка понимания специфики ClickHouse, заявленной в требованиях.

Расскажите о различиях между движками семейства MergeTree в ClickHouse. В каких случаях вы бы выбрали ReplacingMergeTree?

Оценка навыков работы с основным инструментом оркестрации.

Как вы обеспечиваете идемпотентность ваших DAG в Apache Airflow, и что такое механизм backfill?

Проверка навыков оптимизации производительности БД.

На что вы в первую очередь смотрите в выводе EXPLAIN ANALYZE при оптимизации медленного запроса в PostgreSQL?

Оценка опыта работы с большими данными и форматами хранения.

В чем преимущества использования формата Parquet при хранении данных в S3 по сравнению с CSV или JSON?

Проверка архитектурного мышления при построении витрин.

Как бы вы спроектировали процесс поставки данных для Apache Superset, чтобы минимизировать нагрузку на основную базу данных?

Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.

Похожие вакансии

Россия
более 1000 офферов получено
4.9

1000+ офферов получено

Устали искать работу? Мы найдём её за вас

Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!