Откликайтесь
на вакансии с ИИ
ML Data Engineer
Оценка ИИИнтересная позиция в технологичной компании с современным стеком (Databricks, Spark Streaming). Удаленный формат работы и фокус на ML-инфраструктуре делают вакансию привлекательной для опытных инженеров.
Сложность вакансии
Оценка ИИРоль требует глубоких знаний PySpark, потоковой обработки данных и математической статистики для отслеживания дрейфа данных. Необходим опыт работы с современным стеком (Databricks, dbt, BigQuery) и понимание архитектурных паттернов.
Анализ зарплаты
Оценка ИИЗарплата в вакансии не указана, но для позиции Senior/Middle+ ML Data Engineer на международном рынке (Snoonu базируется в Катаре, но нанимает глобально) рыночный диапазон составляет $4000-$7000. Предложение будет зависеть от финальных переговоров и локации кандидата.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Snoonu уже сейчас
Присоединяйтесь к Snoonu и создавайте передовые ML-пайплайны в динамичной международной среде!
Описание вакансии
ML Data Engineer
Локация: Удалённо
Компания: Snoonu
ЗП: обсуждается на собеседовании
Занятость: Полная
We look for experienced engineer for position of dedicated DE for ML team. Main responsibilities will include creating end extending existing feature marts and realtime marts, including investigation of feature drift and performance optimizations. What we also consider as important is having enough skills to take responsibility for full ML-DE interaction, including new pipelines creation in existing DE infrastructure. Main tools used for feature engineering are Dbt, BigQuery, Databricks and Spark structured streaming, having AWS streaming services and infrastructure as a code for DE part.
🛠 What You’ll Get Your Hands On:
- Feature engineering - support and creating feature marts for ML team, including tests and validation
- Realtime Feature engineering - creating realtime pipelines, extending realtime feature store with new features
- Integrating new sources into existing data pipelines for ML needs, ensuring data quality and consistency
- Monitor and automate ML pipelines processes, including data drift, pipelines performance, alerting
🧙♂️ The Magic You Bring:
- Experience in several programming languages or Python frameworks
- PySpark knowledge i.e. Spark structured streaming, data distribution, optimizations
- Strong SQL skills, ability to apply subqueries, window functions, CTEs, math specific database functions
- Experience with modern ETL processes, collection, ingestion, storage, cleaning, transformation, analysis of data
- Software design skills - software patterns, application, data system design
- Math statistics knowhelege, i.e. stdev, quartiles, ability to apply them for drift or outlier detection
- Infrastructure as a code is a plus
- Experience with databricks as a plus
🌐 Резюме отправлять: Откликнуться
–––
Бесплатный постинг вакансий: @freeIT_job
Забирай 📚 Базу Знаний
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- AWS
- Python
- Machine Learning
- SQL
- dbt
- Statistics
- Data Engineering
- Infrastructure as Code
- PySpark
- Apache Spark
- Databricks
- ETL
- Google BigQuery
- Spark Structured Streaming
Возможные вопросы на собеседовании
Проверка навыков оптимизации в Spark, что критично для работы с большими данными в Snoonu.
Как вы подходите к оптимизации производительности в Spark Structured Streaming и какие основные проблемы (например, skewness) вы встречали?
Вакансия предполагает работу с feature marts и мониторинг качества.
Как бы вы реализовали автоматизированную систему обнаружения feature drift в реальном времени?
Упоминается использование dbt и BigQuery.
В каких случаях вы предпочтете использовать dbt для трансформации данных вместо Spark, и наоборот?
Требуется знание математической статистики.
Как вы используете квартили и стандартное отклонение для фильтрации выбросов в пайплайнах подготовки данных для ML?
Важен опыт проектирования систем.
Опишите ваш опыт работы с Infrastructure as Code (Terraform/CloudFormation) в контексте развертывания дата-пайплайнов.
Похожие вакансии
ML разработчик (Senior)
Senior / Middle+ Data Scientist
MlOps / Python Backend Engineer (ML)
Data Scientist Senior
Senior/Middle Data Engineer
Senior Data Scientist
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!