- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Python developer (Airflow / dbt)
Оценка ИИОтличная вакансия для опытных инженеров данных в известной продуктовой компании. Работа над инфраструктурными инструментами (Airflow, dbt) и современный стек Big Data делают роль профессионально привлекательной, несмотря на отсутствие указанной зарплаты.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена требованием глубокого опыта (от 5 лет) в продуктовой разработке и специфических знаний внутреннего устройства Airflow и dbt, включая написание адаптеров и провайдеров. Также необходим широкий кругозор в стеке Big Data (Hadoop, Spark, Trino).
Анализ зарплаты
Оценка ИИЗарплата в вакансии не указана, однако для специалиста уровня Senior/Lead с опытом от 5 лет в Big Data стеке на российском рынке медиана составляет около 350,000 - 450,000 рублей после вычета налогов. Arenadata обычно предлагает конкурентоспособные условия, соответствующие рыночным лимитам для высококвалифицированных инженеров.
Сопроводительное письмо
I am writing to express my strong interest in the Python Developer (Airflow / dbt) position at Arenadata. With over 5 years of experience in Python development and a deep focus on data engineering tools, I have developed a robust understanding of the Big Data ecosystem, including hands-on work with Apache Airflow and dbt Core. My background in designing custom operators and adapters aligns perfectly with your requirements for product development.
In my previous roles, I have successfully implemented complex data processing pipelines and integrated various Big Data components like Spark and Hadoop. I am particularly drawn to Arenadata because of your reputation as a leader in data management platforms. I am confident that my technical expertise in distributed computing and my experience in architectural design will allow me to contribute effectively to your product team and help drive the evolution of your data platform.
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Arenadata уже сейчас
Присоединяйтесь к команде Arenadata и создавайте передовые инструменты для работы с Big Data — откликайтесь прямо сейчас!
Описание вакансии
Python developer (Airflow / dbt)
Локация: Удаленно
Компания: Arenadata
ЗП: обсуждается на собеседовании
Занятость: Полная
Обязанности:
Разработка функциональности продукта на базе Apache Airflow: разработка кастомных операторов, хуков и провайдеров;
Разработка модулей dbt: создание адаптеров к новым источникам данных, разработка кастомных плагинов;
Проектирование архитектуры модулей и коннекторов;
Взаимодействие с архитекторами и продуктовой командой для определения стратегии развития платформы данных;
Разработка и поддержка тестовой инфраструктуры: unit-тесты, интеграционные тесты;
Составление архитектурных документов и технических записок по принятым решениям;
Защита и обоснование архитектурных и технических решений;
Участие в code review;
Ревью пользовательской и технической документации по продуктам.
Опыт работы:
От 5 лет опыта в разработке на Python, из них значительная часть - продуктовая разработка инструментов для работы с данными;
Практический опыт работы с dbt Core: понимание архитектуры, опыт разработки или доработки адаптеров;
Знание стека Big Data: экосистема Apache Hadoop (HDFS, YARN, MapReduce), Apache Spark / PySpark, Apache Ozone, Trino, Apache Hive;
Понимание принципов распределённого хранения и вычислений;
Опыт работы с различными СУБД от 3 лет.
🌐 Резюме отправлять: Откликнуться
–––
Бесплатный постинг вакансий: @freeIT_job
Забирай 📚 Базу Знаний
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Unit Testing
- Python
- SQL
- dbt
- PySpark
- Apache Spark
- Apache Airflow
- HDFS
- Trino
- Apache Hive
- Apache Hadoop
- Apache Ozone
Возможные вопросы на собеседовании
Вакансия предполагает разработку кастомных компонентов Airflow. Важно понимать, как расширять функциональность платформы.
Расскажите о вашем опыте создания кастомных операторов или провайдеров в Airflow. С какими сложностями вы сталкивались при их проектировании?
Поскольку требуется опыт доработки адаптеров dbt, кандидат должен понимать внутреннюю механику инструмента.
Как устроено взаимодействие dbt Core с базой данных через адаптер? Какие основные методы необходимо реализовать при создании нового адаптера?
Работа с Big Data требует понимания распределенных систем.
В чем разница между хранением данных в HDFS и Apache Ozone? В каких сценариях вы бы предпочли одно другому?
Позиция включает проектирование архитектуры и защиту решений.
Опишите случай, когда вам приходилось защищать архитектурное решение перед командой или заказчиком. Какие аргументы были решающими?
Упоминание Trino и Hive предполагает работу с SQL-движками над озерами данных.
Как бы вы оптимизировали производительность запросов в Trino при работе с большими объемами данных в S3 или HDFS?
Похожие вакансии
MLOps Engineer (ML pipelines / Kubernetes / Airflow)
Senior Data инженер
Senior MLOps Engineer (Platform Development / LLMOps)
Data Engineer / SAP HANA Developer (Senior)
Data Scientist в RecSys
Data Engineering Team Lead (команда Clickhouse)
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Страна
- Россия