- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Spark Developer (Scala / Data Lake VTB)
Оценка ИИИнтересная вакансия в крупном финтех-проекте (ВТБ) с современным стеком технологий и возможностью удаленной работы. Проект предполагает работу с действительно большими данными, что является отличным кейсом для профессионального роста Spark-разработчика.
Сложность вакансии
Оценка ИИПозиция требует глубоких знаний Scala и Apache Spark, а также опыта работы с экосистемой Hadoop и сложными ETL-процессами в рамках Data Lake. Высокая сложность обусловлена необходимостью оптимизации приложений под высокие нагрузки и интеграции с множеством различных СУБД.
Анализ зарплаты
Оценка ИИУказанная роль Spark-разработчика в банковском секторе обычно оплачивается выше среднего по рынку из-за высоких требований к надежности и масштабируемости систем. Рыночные вилки для Senior/Middle+ специалистов в этой области в РФ составляют от 250 000 до 450 000 рублей.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в ВТБ уже сейчас
Отправьте свое резюме в Telegram, чтобы стать частью команды Data Lake ВТБ и работать над масштабными проектами обработки данных!
Описание вакансии
Spark Developer (Scala / Data Lake VTB)
#SparkDeveloper #Удаленно #РФ #Developer
Требования:
Стек: Scala, Apache Spark, SQL, Hadoop, Hive, CI/CD. Разрабатывать сложные распределённые процессы обработки данных на Scala. Строить эффективные пайплайны на Spark DataFrame API. Заниматься оптимизацией Spark-приложений для работы под высокой нагрузкой. Реализовывать ETL-процессы, интегрируясь с Oracle, Postgres, MS SQL и другими БД. Взаимодействовать со смежными командами в рамках развития Data Lake. Уверенное владение Scala и Apache Spark. Понимание принципов построения DWH и Data Lake. Отличный SQL и опыт работы с различными СУБД. Навыки работы с Hadoop, Hive и инструментами CI/CD. Будет плюсом: Опыт с действительно большими кластерами данных.
Локация:📍Удалённо, РФ.
Контакт для отклика: Откликнуться ID: Spark_DNA
Про карьеру, рост и ценность себя: @jobstobeloved
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Scala
- Apache Spark
- SQL
- Hadoop
- Hive
- CI/CD
- ETL
- Oracle
- PostgreSQL
- Microsoft SQL Server
- Data Lake
- Data Warehouse
Возможные вопросы на собеседовании
Проверка понимания внутреннего устройства Spark для оптимизации производительности.
Расскажите о различиях между Narrow и Wide transformations в Spark и как они влияют на shuffle-операции?
Оценка навыков написания эффективного кода на Scala в контексте обработки данных.
Какие преимущества дает использование Dataset API по сравнению с DataFrame API в Scala, и в каких случаях вы отдадите предпочтение DataFrame?
Проверка опыта работы с распределенными файловыми системами и форматами хранения.
Как бы вы оптимизировали чтение данных из Hive, если таблица содержит миллиарды строк и сотни партиций?
Оценка архитектурного мышления в области больших данных.
С какими основными проблемами вы сталкивались при интеграции Spark с реляционными БД (Oracle/Postgres) и как их решали?
Проверка практического опыта отладки.
Как вы будете диагностировать и устранять проблему 'Data Skew' в Spark-приложении?
Похожие вакансии
Senior Data Engineer
Data Scientist Senior
Senior MLOps инженер
Team Lead Data Science / ML
Data Engineer / Big Data Developer
MLOps инженер (Team Lead)
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!