Страна: Россия

+500% приглашений

Откликайтесь
на вакансии с ИИ

SeniorУдалённоКонтракт

Senior Data Engineer - ETL

Name: Quick Offer — сервис для поиска работы на hh.ru
Brand: Quick Offer
SKU: quick-offer-saas
Availability: InStock
Rating: 4.9 (682 reviews)

Вакансия предлагает работу с современным и востребованным стеком (Spark, Flink, Kafka, Airflow) на длительный срок (12 месяцев). Однако наличие жестких возрастных рамок и отсутствие указания зарплаты снижают общую привлекательность предложения.

Вакансия из Quick Offer Global, списка международных компаний

Пожаловаться

Сложность вакансии

ЛегкоСложно

Роль требует глубокой экспертизы в широком стеке технологий: от классического ETL на Airflow до потоковой обработки на Flink и Spark Structured Streaming. Дополнительную сложность создают строгие возрастные ограничения и проверка на предыдущие подачи в компанию.

Анализ зарплаты

Медиана450 000 ₽

Рынок350 000 ₽ – 550 000 ₽

Для позиции Senior Data Engineer с таким широким стеком (Spark, Flink, Kafka) рыночные зарплаты в России обычно начинаются от 350 000 рублей. Верхняя граница может достигать 550 000 рублей и выше в зависимости от конкретных задач и масштаба компании. Данная вакансия предполагает проектную занятость на 12 месяцев, что часто подразумевает ставку выше среднего по рынку.

Меня заинтересовала вакансия Senior Data Engineer, так как мой опыт работы с высоконагруженными системами обработки данных полностью соответствует вашим требованиям. Я обладаю глубокими знаниями Python (включая ООП и ФП), а также имею значительный опыт разработки ETL-процессов с использованием PySpark, Airflow и Apache Kafka. Работа с неструктурированными данными и оптимизация сложных SQL-запросов в Oracle и Greenplum являются моими сильными сторонами.

Особый интерес для меня представляет возможность работы с инструментами потоковой обработки, такими как Spark Structured Streaming и Flink. Я имею опыт внедрения сервисов в промышленную эксплуатацию и привык писать качественный, протестированный код. Уверен, что мои навыки помогут вашей команде эффективно решать задачи по интеграции данных из внешних источников и развитию аналитической платформы.

+250% к просмотрам

Составьте идеальное письмо к вакансии с ИИ-агентом

Откликнитесь уже сейчас

Если вы готовы к масштабным задачам в области Big Data и потоковой обработки, отправьте свое резюме @veroneko прямо сейчас!

Описание вакансии

ID 3145

#Data #Engineer - #ETL

Senior

Возраст: до 45 лет

Требования:

Python - уверенное знание структур данных и алгоритмов, эффективное применение принципов ООП и ФП (Функциональное программирование), опыт написания модульных и интеграционных тестов, знание и опыт применения библиотек обработки и анализа данных - numpy, pandas
Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных и слабо структурированных данных (текст, xml, json) из внешних источников
Способность разобраться с API поставщиков данных, используя доступную документацию
SQL - умение создавать сложные запросы с использованием аналитических оконных функций и использовать инструменты профилирования для оптимизации их производительности, опыт работы с БД Oracle, Postgres, Greenplum
Уверенное знание и опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных - Airflow
Опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark, уверенное знание настроек Spark и их влияния на производительность приложений Spark.
Опыт работы с Apache Kafka: продюсеры/консюмеры на Python, consumer groups.
Опыт разработки сервисов потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink.

старт 31.08

привлечение 12 мес

Если кандидат в течении года подавался напрямую или через вендора к заказчику - таких кандидатов заказчик

не рассмотрит

Обязательный чек-лист перед отправкой кандидата:

Кандидату от 23-45 лет?
Подавался ли кандидат в течении года к клиенту?
Работал ли кандидат у клиента?

Писать Откликнуться*⚡️**⚡️**⚡️*

+400% к собеседованиям

Создайте идеальное резюме с помощью ИИ-агента

Навыки

Python
NumPy
Pandas
SQL
Oracle
PostgreSQL
Greenplum
Airflow
PySpark
Apache Spark
Apache Kafka
Spark Structured Streaming
Apache Flink
XML
JSON
OOP

Возможные вопросы на собеседовании

Проверка глубокого понимания работы Spark и умения оптимизировать ресурсы.

Расскажите о вашем опыте настройки Spark-приложений: какие параметры конфигурации (например, memory overhead, shuffle partitions) вы меняли для повышения производительности в высоконагруженных задачах?

Оценка навыков работы с потоковыми данными и понимания гарантий доставки.

В чем разница между обработкой 'exactly-once' и 'at-least-once' в контексте Kafka и Spark Structured Streaming, и как вы обеспечивали консистентность данных?

Проверка навыков оптимизации SQL в распределенных БД.

С какими проблемами производительности вы сталкивались при работе с Greenplum и какие методы оптимизации (распределение данных, индексы, профилирование) применяли?

Оценка архитектурного мышления при работе с API.

Опишите ваш подход к проектированию сервиса для сбора данных из внешнего API с нестабильной документацией и лимитами на запросы (rate limits).

Проверка качества кода и культуры разработки.

Как вы организуете процесс тестирования ETL-пайплайнов? Какие именно кейсы вы покрываете модульными, а какие интеграционными тестами?

Устали искать работу? Мы найдём её за вас

Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!

Россия