- Страна
- Украина
Откликайтесь
на вакансии с ИИ
Big Data / Data Engineer
Оценка ИИИнтересный стек технологий (Scala, Spark, Kubernetes, Iceberg) и работа с гео-данными. Однако отсутствие указанной вилки зарплаты и названия компании-заказчика (позиция от агентства) немного снижают прозрачность.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена строгим требованием к знанию Scala (must), глубоким пониманием распределенных систем и необходимостью работать как с облачными, так и с on-prem решениями через Kubernetes.
Анализ зарплаты
Оценка ИИПредлагаемая роль требует высокого уровня экспертизы в Scala и Big Data стеке. На рынке Украины и Европы для специалистов уровня Senior Data Engineer с таким набором навыков медиана составляет около $5500-$6500.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Commit Offshore уже сейчас
Отправьте свое резюме Оксане, чтобы стать частью команды и работать над сложными ETL-системами на Scala и Spark!
Описание вакансии
🚀We are looking for a #Big Data / Data #Engineer.
In this role, you will be responsible for the design and development of our big data processing engine, a heavy #ETL pipeline handling complex logic including geo-location analysis, running across both cloud and on-prem environments.
📍#Ukraine, #Europe
Requirements:
◽️4+ years of experience in #Data Engineering
◽️2+ years of hands-on experience with Scala (must) or Java (optional)
◽️2+ years of experience with #SQL and NoSQL DBs
◽️Hands-on experience with #Spark & #PySpark (must)
◽️Experience with #Airflow (must)
◽️Experience with #AWS and/or GCP
◽️Experience with #Kubernetes (k8s) and on-prem deployments
◽️Solid understanding of distributed systems design, pipeline architecture, and partitioning strategies
◽️Deep understanding of Agile principles, practices and values
◽️Solid understanding of design patterns, software development techniques, and clean code practices
Advantage:
◽️Experience with Apache Iceberg, Helm Charts, or data catalog tools
◽️Experience with #Spring Framework
◽️Experience with microservice architecture
◽️Experience working with #DevOps and CI/CD practices
◽️Customer-facing experience or comfort working directly with clients
◽️Bachelor's, BSc or Master's degree in Computer Science or Engineering from a leading academic institution
Apply or message us to learn more:
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- AWS
- GCP
- SQL
- Kubernetes
- Helm
- CI/CD
- Microservices
- PySpark
- Airflow
- Java
- Spark
- Apache Iceberg
- ETL
- NoSQL
- Scala
- Spring Framework
Возможные вопросы на собеседовании
Вакансия требует обязательного знания Scala для разработки движка обработки данных.
Расскажите о преимуществах использования Scala перед Java в контексте разработки Spark-приложений и обработки данных.
Проект включает тяжелые ETL-пайплайны с гео-аналитикой.
Какие стратегии партиционирования данных вы бы применили для оптимизации запросов, связанных с гео-координатами в Spark?
Упоминается работа с Kubernetes и on-prem инсталляциями.
С какими основными сложностями вы сталкивались при развертывании Spark-приложений в кластере Kubernetes?
В требованиях указан Apache Iceberg как преимущество.
В чем заключаются ключевые преимущества формата таблиц Apache Iceberg по сравнению со стандартным Parquet в контексте транзакционности и эволюции схем?
Роль подразумевает проектирование архитектуры распределенных систем.
Как вы обеспечиваете отказоустойчивость и принцип 'exactly-once' обработки данных в ваших Airflow пайплайнах?
Похожие вакансии
Senior Data Scientist
Data Scientist (Senior)
ML Engineer (Senior)
Старший специалист по Data Science
ML-инженер
Руководитель Data Science команды (Анализ спроса в маркетплейсе)
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!