- Страна
- Россия
Data Engineer / Дата инженер
Оценка ИИСильная компания с четко прописанными требованиями и современным стеком технологий. Удаленный формат работы и фокус на ML-инфраструктуру делают позицию привлекательной для опытных инженеров данных.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИРоль требует глубокой технической экспертизы в широком стеке технологий (PySpark, Flink, Kafka) и опыта работы с высоконагруженными системами более 4 лет. Сложность обусловлена необходимостью сочетать навыки классического ETL с потоковой обработкой данных.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИВ объявлении не указан уровень заработной платы, однако для специалиста уровня Middle+/Senior с таким стеком (PySpark, Flink, Kafka) рыночные предложения в РФ и СНГ обычно находятся в диапазоне от 250 000 до 450 000 рублей после вычета налогов.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Aston
Data Engineer / Дата инженер
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо
*☑️* Чем предстоит заниматься
-реализовывать высоконагруженные конвейеры обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем
-реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения
-разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу
-своевременно отражать статусы выполнения задач в Jira
-проверять качество кода, написанного инженерами данных
*☑️* Наши пожелания к кандидатам
-опыт работы в роли Data Engineer от 4-х лет
-отличные знания Python: структуры данных и алгоритмов, ООП и функциональное программирование
-опыт написания модульных и интеграционных тестов, знание и опыт применения NumPy, Pandas
-опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных (текст, xml, json) из внешних источников
-способность разобраться с API поставщиков данных, используя доступную документацию
-отличное знание SQL: сложные запросы с использованием аналитических оконных функций, инструменты профилирования для оптимизации их производительности
-опыт работы с БД Oracle, Postgres, Greenplum
-опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных Airflow
-опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark
-опыт работы с Apache Kafka: продюсеры/консьюмеры на Python, consumer groups
-опыт разработки сервисов потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink
-опыт работы с Flink
Контакты: Откликнуться / Telegram Откликнуться
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Python
- PySpark
- Apache Airflow
- Apache Kafka
- Apache Flink
- SQL
- PostgreSQL
- Greenplum
- Oracle Database
- Pandas
- NumPy
- ETL
- Data Lake
- Jira
Возможные вопросы на собеседовании
Проверка навыков оптимизации производительности в распределенных системах.
Расскажите о вашем опыте оптимизации PySpark приложений. Какие методы вы используете для борьбы с перекосом данных (data skew)?
Оценка понимания архитектуры потоковой обработки.
В каких случаях вы бы предпочли Spark Structured Streaming вместо Flink, и наоборот? Обоснуйте выбор на примере конкретных задач.
Проверка владения инструментами оркестрации.
Как вы организуете обработку ошибок и повторные запуски (retries) в сложных DAG-ах Airflow при работе с внешними API?
Оценка навыков работы с базами данных на продвинутом уровне.
Приведите пример оптимизации сложного SQL-запроса в Greenplum или PostgreSQL. Какие инструменты профилирования вы использовали?
Проверка понимания интеграционных паттернов.
Опишите процесс обеспечения гарантии доставки сообщений (delivery semantics) при работе с Kafka консьюмерами на Python.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
