- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Python developer (Airflow / dbt)
Оценка ИИОтличная вакансия для опытных инженеров данных в известной продуктовой компании. Работа над инфраструктурными инструментами (Airflow, dbt) и современный стек Big Data делают роль профессионально привлекательной, несмотря на отсутствие указанной зарплаты.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена требованием глубокого опыта (от 5 лет) в продуктовой разработке и специфических знаний внутреннего устройства Airflow и dbt, включая написание адаптеров и провайдеров. Также необходим широкий кругозор в стеке Big Data (Hadoop, Spark, Trino).
Анализ зарплаты
Оценка ИИЗарплата в вакансии не указана, однако для специалиста уровня Senior/Lead с опытом от 5 лет в Big Data стеке на российском рынке медиана составляет около 350,000 - 450,000 рублей после вычета налогов. Arenadata обычно предлагает конкурентоспособные условия, соответствующие рыночным лимитам для высококвалифицированных инженеров.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Arenadata уже сейчас
Присоединяйтесь к команде Arenadata и создавайте передовые инструменты для работы с Big Data — откликайтесь прямо сейчас!
Описание вакансии
Python developer (Airflow / dbt)
Локация: Удаленно
Компания: Arenadata
ЗП: обсуждается на собеседовании
Занятость: Полная
Обязанности:
Разработка функциональности продукта на базе Apache Airflow: разработка кастомных операторов, хуков и провайдеров;
Разработка модулей dbt: создание адаптеров к новым источникам данных, разработка кастомных плагинов;
Проектирование архитектуры модулей и коннекторов;
Взаимодействие с архитекторами и продуктовой командой для определения стратегии развития платформы данных;
Разработка и поддержка тестовой инфраструктуры: unit-тесты, интеграционные тесты;
Составление архитектурных документов и технических записок по принятым решениям;
Защита и обоснование архитектурных и технических решений;
Участие в code review;
Ревью пользовательской и технической документации по продуктам.
Опыт работы:
От 5 лет опыта в разработке на Python, из них значительная часть - продуктовая разработка инструментов для работы с данными;
Практический опыт работы с dbt Core: понимание архитектуры, опыт разработки или доработки адаптеров;
Знание стека Big Data: экосистема Apache Hadoop (HDFS, YARN, MapReduce), Apache Spark / PySpark, Apache Ozone, Trino, Apache Hive;
Понимание принципов распределённого хранения и вычислений;
Опыт работы с различными СУБД от 3 лет.
🌐 Резюме отправлять: Откликнуться
–––
Бесплатный постинг вакансий: @freeIT_job
Забирай 📚 Базу Знаний
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Unit Testing
- Python
- SQL
- dbt
- PySpark
- Apache Spark
- Apache Airflow
- HDFS
- Trino
- Apache Hive
- Apache Hadoop
- Apache Ozone
Возможные вопросы на собеседовании
Вакансия предполагает разработку кастомных компонентов Airflow. Важно понимать, как расширять функциональность платформы.
Расскажите о вашем опыте создания кастомных операторов или провайдеров в Airflow. С какими сложностями вы сталкивались при их проектировании?
Поскольку требуется опыт доработки адаптеров dbt, кандидат должен понимать внутреннюю механику инструмента.
Как устроено взаимодействие dbt Core с базой данных через адаптер? Какие основные методы необходимо реализовать при создании нового адаптера?
Работа с Big Data требует понимания распределенных систем.
В чем разница между хранением данных в HDFS и Apache Ozone? В каких сценариях вы бы предпочли одно другому?
Позиция включает проектирование архитектуры и защиту решений.
Опишите случай, когда вам приходилось защищать архитектурное решение перед командой или заказчиком. Какие аргументы были решающими?
Упоминание Trino и Hive предполагает работу с SQL-движками над озерами данных.
Как бы вы оптимизировали производительность запросов в Trino при работе с большими объемами данных в S3 или HDFS?
Похожие вакансии
ML разработчик (Senior)
Senior / Middle+ Data Scientist
MlOps / Python Backend Engineer (ML)
Data Scientist Senior
Senior/Middle Data Engineer
Senior Data Scientist
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Страна
- Россия