- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Инженер данных
Оценка ИИИзвестный бренд с четко прописанным современным стеком технологий. Гибридный формат работы в Санкт-Петербурге и фокус на инженерные практики делают вакансию привлекательной для опытных специалистов.
Сложность вакансии
Оценка ИИРоль требует глубоких знаний в экосистеме Hadoop и Apache Spark, а также опыта работы с Airflow. Высокая сложность обусловлена необходимостью оптимизации приложений и владения несколькими языками программирования (Python/Scala/Java).
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, но для позиции Data Engineer с таким стеком в Санкт-Петербурге рыночные показатели находятся в диапазоне от 200 до 350 тысяч рублей. Предложение будет конкурентоспособным, если попадет в этот интервал.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Mars уже сейчас
Откликайтесь на вакансию Инженера данных в Марс, чтобы развивать современные хранилища данных и оптимизировать Spark-приложения!
Описание вакансии
🔥Инженер данных
Марс
Гибрид, СПб
Требования:
✅Опыт разработки пайплайнов обработки данных в Apache Airflow.
✅Опыт оптимизации приложений на Apache Spark.
✅Понимание работы СУБД и принципов построения хранилищ данных.
✅Опыт работы с Hadoop (Apache Spark, HDFS, YARN etc.).
✅Уверенное владение SQL, Python/Scala/Java.
Будет плюсом:
✅Опыт работы с Apache Kafka, Apache NiFi.
✅Наличие опыта оптимизации потребления ресурсов.
✅Готовность участвовать в развитии лучших инженерных практик внутри компании.
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Apache Airflow
- Apache Spark
- Hadoop
- HDFS
- YARN
- SQL
- Python
- Scala
- Java
- Apache Kafka
- Apache NiFi
Возможные вопросы на собеседовании
Проверка навыков оптимизации производительности в распределенных системах.
Расскажите о вашем опыте оптимизации Apache Spark приложений: какие техники вы использовали для борьбы с data skew?
Оценка практического опыта работы с оркестратором.
Как вы организуете обработку ошибок и повторные запуски (retries) в сложных DAG в Apache Airflow?
Проверка понимания архитектуры хранения данных.
В каких случаях вы предпочтете использование Parquet вместо Avro при проектировании хранилища на HDFS?
Оценка навыков работы с потоковыми данными.
Был ли у вас опыт интеграции Apache Kafka с Spark Streaming или Flink? Какие основные сложности возникали?
Проверка фундаментальных знаний SQL.
Опишите разницу между оконными функциями и группировкой: в каких сценариях оконные функции незаменимы для инженера данных?
Похожие вакансии
Team Lead MLOps / Tech Lead
Data Science / ML Engineer
Data инженер Middle+ Senior
Data инженер Middle
AI/ML Engineer
Senior Data Engineer
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Страна
- Россия