- Страна
- Россия
- Зарплата
- от 300 000 ₽
Откликайтесь
на вакансии с ИИ
Data Engineer / Java, Spark
Оценка ИИВысокая зарплата для Middle-уровня, удаленный формат работы и работа в крупном банке с современным стеком (Spark, Kafka, Cloud). Проект имеет понятную бизнес-ценность и масштаб.
Сложность вакансии
Оценка ИИПозиция требует широкого кругозора в экосистеме Hadoop и базовых навыков Java. Основная сложность заключается в работе с распределенными системами и интеграции множества компонентов (Solr, HBase, Spark) в рамках крупного банка.
Анализ зарплаты
Оценка ИИПредложенная зарплата от 300 000 рублей соответствует верхней границе рынка для Middle Data Engineer и является конкурентной для Senior-позиций в российском финтехе. Это выше среднего медианного значения по рынку для специалистов с базовым знанием Java.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Отправьте резюме Олегу, чтобы присоединиться к команде разработки высоконагруженных систем в одном из крупнейших банков страны!
Описание вакансии
#de #dataengineer #job #vacancy #remote #вакансия #удаленно
🌟 Data Engineer / Java, Spark
Компания: крупный банк РФ
Оплата: 300тр+/месяц
Формат: удаленно по РФ
Занятость: фултайм
Проект: Репликация данных из источников в распределенный облачный кластер и индексирование данных для обработки запросов в режиме реального времени
⭕ Задачи:
Глобально задачи команды — репликация и индексирование данных из различных источников (в основном Apache Hive) в распределенный облачный кластер (тоже Apache Hive), чтобы затем в режиме реального времени отрабатывать запросы через REST или брокеры сообщений (Kafka или IBM MQ) к этим данным (напр., остатки по счетам физ. лиц в ответ на запросы гос. органов, данные о товарах в чеке к покупке в мобильном приложении и проч.)
⭕ Стек:
- JIRA
- Confluence
- Корпоративные мессенджеры
- Outlook
- Scrum
⭕ Требования:
- Базовый уровень знания java (циклы, условия, хешмапы и т.д.)
- Базовый уровень знания и понимание CI/CD
- Linux (basic), Ansible, SQL, Git, XML, JSON, XSLT, YAML
- Базовые знания экосистемы Hadoop и его компонентов (Apache Solr, Apache Hive, Apache HBase, Apache Spark, Apache Zookeper, Apache Oozie, Apache Camel)
- Язык: английский, уровень владения: технический (чтение документации, профильных ресурсов)
.
✅ Рекрутер
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Git
- Linux
- SQL
- CI/CD
- Apache Spark
- Hadoop
- Java
- JSON
- Apache Kafka
- XML
- Ansible
- XSLT
- YAML
- Apache Solr
- Apache Camel
- Apache Hive
- Apache Zookeeper
- Apache HBase
- Apache Oozie
Возможные вопросы на собеседовании
Проект связан с репликацией данных из Hive в облачный кластер. Важно понимать, как кандидат обеспечит консистентность.
Как бы вы организовали процесс инкрементальной репликации данных из Apache Hive в реальном времени?
В стеке указан Apache Solr для индексирования. Нужно проверить понимание механизмов поиска.
В каких случаях для индексации данных из Hadoop лучше использовать Solr, а не стандартные средства SQL-запросов в Hive?
Вакансия требует базовых знаний Java. Важно понять, сможет ли кандидат писать простые обработчики или UDF.
Опишите ваш опыт написания кода на Java для обработки данных. Использовали ли вы Java для написания Spark jobs или UDF для Hive?
Работа ведется с Kafka и IBM MQ. Важно понимание брокеров сообщений.
В чем ключевые различия между Kafka и IBM MQ при обработке потоковых данных в банковских системах?
Упоминается Ansible и CI/CD. Это критично для развертывания в облаке.
Как вы используете Ansible для автоматизации настройки компонентов Hadoop-кластера?
Похожие вакансии
ML разработчик (Senior)
Senior / Middle+ Data Scientist
MlOps / Python Backend Engineer (ML)
Data Scientist Senior
Senior/Middle Data Engineer
Senior Data Scientist
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!