- Страна
- Польша
- Зарплата
- 5 000 $ – 5 800 $
Откликайтесь
на вакансии с ИИ
Senior Data Engineer (Batch & Streaming) – Analytics Platform
Оценка ИИПривлекательная вакансия для Senior-специалиста: работа с современным стеком (Delta Lake, Spark Streaming, IaC), удаленный формат в Европе и четко определенный бюджет. Ограничение по гражданству сужает круг кандидатов, но делает предложение более целевым.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена требованиями к глубоким знаниям Spark Structured Streaming, тюнингу производительности и опыту работы с Lakehouse-архитектурой (Delta Lake). Также требуется опыт в IaC и оптимизации затрат в AWS.
Анализ зарплаты
Оценка ИИПредложенная ставка $5000-5800 gross соответствует среднерыночному уровню для Senior Data Engineer в Польше и странах Балканского региона, хотя для топовых специалистов в крупных международных компаниях верхняя планка может быть выше.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Заполните форму кандидата, чтобы присоединиться к разработке современной аналитической платформы на AWS!
Описание вакансии
#vacancy Senior Data Engineer (Batch & Streaming) – Analytics Platform
Location: Remote EU - Ukrainian citizens only
Location EU : Poland | Also considered: Serbia, Montenegro
Rate: $5000-5800/month gross
Start: ASAP - Long-term engagement
About the Role:
We're building a greenfield analytics platform supporting both batch and real-time data processing. Looking for a Senior Data Engineer to design, implement, and evolve scalable data systems in AWS, combining hands-on development, architecture, and platform ownership.
Tech Stack:
• Apache Spark (Structured Streaming), PySpark
• AWS: S3, EMR, Glue, Athena, CloudWatch
• Streaming: Apache Kafka / Amazon Kinesis
• Lakehouse: Delta Lake
• IaC: Terraform / AWS CDK
• CI/CD: Docker, GitLab CI / GitHub Actions
• Observability: SparkUI, CloudWatch, monitoring best practices
Must Have:
• 5+ years in Data Engineering
• Strong hands-on experience with Apache Spark (batch + streaming)
• Proven experience building production data pipelines (batch & real-time)
• AWS data lake architecture experience (S3, EMR, Glue, Athena)
• Event-driven systems: Kafka or Kinesis
• Delta Lake or similar lakehouse formats
• Spark performance tuning (shuffle, skew, memory, partitioning)
• Cost optimization experience in AWS
• Docker + CI/CD + Infrastructure as Code (Terraform/CDK)
Nice to Have:
• Financial domain experience
• Spark on Kubernetes
• Data quality frameworks / metadata & lineage systems
Responsibilities:
🔸 Design & implement batch/streaming pipelines with Apache Spark
🔸 Build & evolve scalable AWS-based data lake architecture
🔸 Develop real-time event-driven processing systems
🔸 Own Spark workload performance tuning & cost optimization
🔸 Define best practices for data modeling, partitioning, schema evolution
🔸 Implement monitoring, observability & data quality controls
🔸 Contribute to infrastructure automation & CI/CD for data workflows
🔸 Mentor engineers & participate in architectural decisions
How to Apply: Fill out the candidate form - Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- AWS
- Terraform
- Kubernetes
- AWS CDK
- GitHub Actions
- Docker
- PySpark
- Delta Lake
- Apache Spark
- Amazon EMR
- Apache Kafka
- Amazon S3
- AWS Glue
- Amazon CloudWatch
- GitLab CI
- Amazon Athena
- Amazon Kinesis
Возможные вопросы на собеседовании
Проверка глубоких знаний Spark для оптимизации затрат и производительности.
Расскажите о вашем опыте борьбы с data skew и оптимизации shuffle-операций в Spark Structured Streaming.
Оценка навыков проектирования архитектуры данных.
Какие стратегии партиционирования и эволюции схем вы бы выбрали для Delta Lake при работе с высоконагруженными потоками данных?
Проверка опыта работы с облачной инфраструктурой и контроля расходов.
Какие конкретные методы оптимизации стоимости (cost optimization) вы применяли при работе с AWS EMR и Glue?
Оценка понимания событийно-ориентированных систем.
В чем основные различия при интеграции Spark со Spark Streaming через Kafka и Kinesis, и какие нюансы обеспечения exactly-once семантики вы встречали?
Проверка навыков DevOps в контексте Data Engineering.
Как вы организуете CI/CD процессы для Spark-приложений и управление инфраструктурой через Terraform в многосредовом окружении?
Похожие вакансии
ML разработчик (Senior)
Senior / Middle+ Data Scientist
MlOps / Python Backend Engineer (ML)
Data Scientist Senior
Senior/Middle Data Engineer
Senior Data Scientist
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!