- Страна
- Россия
Data Engineer (Hadoop, Scala)
Оценка ИИМедиалогия — известный игрок на рынке с серьезными объемами данных. Вакансия предлагает работу с современным стеком (Scala, Spark, Kafka) и гибкий формат работы, что делает её привлекательной для опытных инженеров.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИРоль требует глубоких знаний экосистемы Hadoop и опыта разработки на Scala/Java, что сложнее стандартного Python-стека. Также ожидаются навыки администрирования инфраструктуры и оптимизации распределенных систем.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, однако для Data Engineer уровня Middle с опытом работы со Scala и Hadoop в России рыночный диапазон составляет от 250 000 до 400 000 рублей. Специалисты со знанием Scala обычно ценятся выше, чем те, кто работает исключительно на Python.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Медиалогия
Data Engineer (Hadoop, Scala)
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид
*☑️* Чем предстоит заниматься
-разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных
-настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase)
-оптимизация распределенных вычислений и запросов
-работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ)
-участие в проектировании и масштабировании архитектуры данных
-автоматизация процессов с использованием DevOps-практик (Docker, CI/CD)
*☑️* Наши пожелания к кандидатам
-высшее (неоконченное высшее) образование
-опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop)
-глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet)
-опыт оптимизации производительности распределенных систем
-работа с потоковой обработкой (Kafka, Spark Streaming)
-навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB)
-Будет плюсом:
-опыт с PySpark, Flink, Airflow
-знание Elasticsearch, ClickHouse, Vertica
-навыки настройки кластеров и инфраструктуры
Контакты: Откликнуться
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Hadoop
- Scala
- Java
- Apache Spark
- ETL
- Kafka
- HDFS
- YARN
- Hive
- HBase
- PostgreSQL
- MongoDB
- Docker
- CI/CD
- RabbitMQ
Возможные вопросы на собеседовании
Проверка понимания внутреннего устройства Spark для оптимизации производительности.
Расскажите о различиях между Narrow и Wide transformations в Spark. Как они влияют на shuffle-операции?
Оценка опыта работы с хранилищами данных в экосистеме Hadoop.
В каких случаях вы предпочтете использовать HBase вместо Hive, и как это отразится на архитектуре ETL-процесса?
Проверка навыков оптимизации ресурсов кластера.
Как вы подходите к настройке параметров YARN и памяти Spark-приложения при обработке перекошенных данных (data skew)?
Оценка опыта работы с потоковыми данными.
Какие гарантии доставки сообщений (delivery semantics) обеспечивает ваша текущая связка Kafka + Spark Streaming?
Проверка навыков проектирования схем данных.
Почему формат Parquet считается предпочтительным для аналитических запросов в Hadoop по сравнению с CSV или JSON?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
