Откликайтесь
на вакансии с ИИ
ML Data Engineer
Оценка ИИИнтересная позиция в технологичной компании с современным стеком (Databricks, Spark Streaming). Удаленный формат работы и фокус на ML-инфраструктуре делают вакансию привлекательной для опытных инженеров.
Сложность вакансии
Оценка ИИРоль требует глубоких знаний PySpark, потоковой обработки данных и математической статистики для отслеживания дрейфа данных. Необходим опыт работы с современным стеком (Databricks, dbt, BigQuery) и понимание архитектурных паттернов.
Анализ зарплаты
Оценка ИИЗарплата в вакансии не указана, но для позиции Senior/Middle+ ML Data Engineer на международном рынке (Snoonu базируется в Катаре, но нанимает глобально) рыночный диапазон составляет $4000-$7000. Предложение будет зависеть от финальных переговоров и локации кандидата.
Сопроводительное письмо
I am writing to express my interest in the ML Data Engineer position at Snoonu. With a strong background in building robust data pipelines and feature marts, I am particularly drawn to your use of Spark Structured Streaming and Databricks for real-time feature engineering. My experience aligns perfectly with your need for an engineer who can bridge the gap between raw data and production-ready ML models.
In my previous roles, I have focused on optimizing PySpark jobs and implementing data quality checks to monitor feature drift, which I see is a key responsibility for this role. I am proficient in SQL, dbt, and BigQuery, and I am comfortable working with Infrastructure as Code to ensure scalable and reproducible data environments. I am eager to bring my technical expertise to the ML team at Snoonu and contribute to the continuous improvement of your data infrastructure.
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Snoonu уже сейчас
Присоединяйтесь к Snoonu и создавайте передовые ML-пайплайны в динамичной международной среде!
Описание вакансии
ML Data Engineer
Локация: Удалённо
Компания: Snoonu
ЗП: обсуждается на собеседовании
Занятость: Полная
We look for experienced engineer for position of dedicated DE for ML team. Main responsibilities will include creating end extending existing feature marts and realtime marts, including investigation of feature drift and performance optimizations. What we also consider as important is having enough skills to take responsibility for full ML-DE interaction, including new pipelines creation in existing DE infrastructure. Main tools used for feature engineering are Dbt, BigQuery, Databricks and Spark structured streaming, having AWS streaming services and infrastructure as a code for DE part.
🛠 What You’ll Get Your Hands On:
- Feature engineering - support and creating feature marts for ML team, including tests and validation
- Realtime Feature engineering - creating realtime pipelines, extending realtime feature store with new features
- Integrating new sources into existing data pipelines for ML needs, ensuring data quality and consistency
- Monitor and automate ML pipelines processes, including data drift, pipelines performance, alerting
🧙♂️ The Magic You Bring:
- Experience in several programming languages or Python frameworks
- PySpark knowledge i.e. Spark structured streaming, data distribution, optimizations
- Strong SQL skills, ability to apply subqueries, window functions, CTEs, math specific database functions
- Experience with modern ETL processes, collection, ingestion, storage, cleaning, transformation, analysis of data
- Software design skills - software patterns, application, data system design
- Math statistics knowhelege, i.e. stdev, quartiles, ability to apply them for drift or outlier detection
- Infrastructure as a code is a plus
- Experience with databricks as a plus
🌐 Резюме отправлять: Откликнуться
–––
Бесплатный постинг вакансий: @freeIT_job
Забирай 📚 Базу Знаний
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- PySpark
- Apache Spark
- Spark Structured Streaming
- SQL
- dbt
- Google BigQuery
- Databricks
- ETL
- Infrastructure as Code
- AWS
- Data Engineering
- Machine Learning
- Statistics
Возможные вопросы на собеседовании
Проверка навыков оптимизации в Spark, что критично для работы с большими данными в Snoonu.
Как вы подходите к оптимизации производительности в Spark Structured Streaming и какие основные проблемы (например, skewness) вы встречали?
Вакансия предполагает работу с feature marts и мониторинг качества.
Как бы вы реализовали автоматизированную систему обнаружения feature drift в реальном времени?
Упоминается использование dbt и BigQuery.
В каких случаях вы предпочтете использовать dbt для трансформации данных вместо Spark, и наоборот?
Требуется знание математической статистики.
Как вы используете квартили и стандартное отклонение для фильтрации выбросов в пайплайнах подготовки данных для ML?
Важен опыт проектирования систем.
Опишите ваш опыт работы с Infrastructure as Code (Terraform/CloudFormation) в контексте развертывания дата-пайплайнов.
Похожие вакансии
ML разработчик (Senior)
Data инженер (Senior)
Data Engineer Python (Middle)
MLOps Engineer
Инженер Mlops (Senior)
Data Engineer Middle+ / Senior
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!