- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Инженер данных
Оценка ИИХорошая вакансия для инженеров среднего уровня с актуальным технологическим стеком и возможностью удаленной работы. Компания известна на рынке, а требования четко структурированы, что говорит о зрелости процессов.
Сложность вакансии
Оценка ИИВакансия требует уверенного владения современным стеком (Spark, Airflow, Iceberg), но допускает кандидатов с опытом от 1 года. Основная сложность заключается в необходимости глубокого понимания архитектуры Lakehouse и оптимизации SQL на больших объемах.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, но для специалиста с опытом 1-3 года в Москве рыночный диапазон составляет от 180 000 до 280 000 рублей. Предложение будет конкурентоспособным, если попадет в эти рамки.
Сопроводительное письмо
I am writing to express my interest in the Data Engineer position at АктивБизнесТехнологии. With over two years of experience in building robust ETL pipelines and managing large-scale data processing using Apache Spark and Airflow, I am confident in my ability to contribute effectively to your data infrastructure projects.
In my previous roles, I have focused on optimizing complex SQL queries and implementing efficient data transformations using PySpark. I also have hands-on experience with modern table formats like Apache Iceberg and Delta Lake, which aligns perfectly with your requirement for understanding Lakehouse architectures. I am eager to bring my technical skills in Python and PostgreSQL to your team to help drive data-driven insights.
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в АктивБизнесТехнологии уже сейчас
Присоединяйтесь к команде АктивБизнесТехнологии и стройте современные Data Lake решения — откликайтесь прямо сейчас!
Описание вакансии
⚠️Инженер данных
АктивБизнесТехнологии
Можно удаленно, Москва
Требования:
📌Опыт работы инженером данных от 1-3 лет
📌Уверенный SQL: сложные запросы, оконные функции, оптимизация на больших объемах данных
📌Apache Spark: опыт с PySpark или Spark SQL (чтение, трансформация, запись данных)
📌Apache Airflow: написание DAGs, операторы, сенсоры
📌Python: уверенный уровень для ETL-скриптов и автоматизации
📌Понимание архитектуры Data Lake / Data Warehouse / Lakehouse
📌Опыт работы с реляционными БД (PostgreSQL и/или SQL Server)
📌Git: версионирование кода, ветвление, merge requests
📌Опыт работы с Apache Iceberg / Delta Lake / Hudi
📌Опыт работы с Trino / Presto
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- SQL
- Apache Spark
- PySpark
- Apache Airflow
- Python
- ETL
- Data Lake
- Data Warehouse
- PostgreSQL
- SQL Server
- Git
- Apache Iceberg
- Delta Lake
- Hudi
- Trino
- Presto
Возможные вопросы на собеседовании
Проверка навыков оптимизации, критически важных для работы с большими данными.
Расскажите о вашем опыте оптимизации SQL-запросов. Какие техники вы использовали для ускорения обработки данных на больших объемах?
Spark является ключевым требованием; важно понять, как кандидат справляется с типичными проблемами распределенных вычислений.
Как вы боретесь с проблемой Data Skew (перекоса данных) в PySpark? Какие методы репартиционирования вы применяете?
Airflow используется для оркестрации; вопрос проверяет знание лучших практик разработки пайплайнов.
Как вы организуете обработку ошибок и повторные попытки (retries) в DAGs Airflow? Использовали ли вы кастомные операторы?
Вакансия упоминает Iceberg/Delta Lake; важно знание современных форматов хранения.
В чем преимущество использования Apache Iceberg по сравнению с обычным Parquet в контексте Data Lake?
Проверка архитектурного мышления и понимания жизненного цикла данных.
Опишите процесс проектирования ETL-процесса с нуля: от источника в реляционной БД до финальной витрины в Lakehouse.
Похожие вакансии
Продуктовый аналитик (middle)
Data аналитик (Senior)
Аналитик данных (Data Analyst)
Аналитик данных
Web-аналитик / Веб-аналитик
Разработчик DWH
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Страна
- Россия