- Зарплата
- от 1 800 $
Откликайтесь
на вакансии с ИИ
Middle/Senior Data Engineer
Оценка ИИХорошее предложение с современным стеком технологий (Iceberg, ClickHouse, Scala) и прозрачными условиями (техника, обучение, оплата отпусков). Оценка немного снижена из-за отсутствия названия компании и оформления через ИП/самозанятость.
Сложность вакансии
Оценка ИИРоль требует уверенного владения Scala и Spark, а также понимания экосистемы Hadoop. Сложность обусловлена необходимостью оптимизации ресурсов и работы с большими объемами данных в распределенных системах.
Анализ зарплаты
Оценка ИИПредложенная зарплата от $1800 является стартовой для уровня Middle в СНГ, однако для Senior-специалиста на стеке Scala/Spark рыночные показатели обычно выше и начинаются от $3500-4000. Данное предложение может быть привлекательным для Middle-инженеров, переходящих на Scala.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Присоединяйтесь к команде и создавайте высоконагруженные ETL-процессы на Scala и Spark — отправляйте свое CV прямо сейчас!
Описание вакансии
#dataengineer #middle #senior
Middle/Senior Data Engineer
Полная занятость, удаленка
Наша команда занимается созданием ETL-процессов и агрегатов для формирования витрин данных и отчетов для BI и конечных пользователей.
Стек технологий: Scala, Apache Spark, ClickHouse, HDFS, Apache Airflow, PostgreSQL, Apache Kafka, Apache Hive, Apache Iceberg
Чем предстоит заниматься:
- Построение, поддержка ETL-процессов и решение разнообразных бизнес-задач для обработки больших объёмов данных с использованием Spark+Scala
- Оптимизация скорости обработки данных и потребления системных ресурсов
- Создание оптимальных SQL-запросов средней сложности для анализа больших объёмов данных по требованиям бизнеса
Что мы ожидаем от кандидата:
- Владение Scala, Java или готовность оперативно освоить основы scala
- Консольный минимум Linux
- Опыт работы со Spark, уверенное понимание принципов работы и потенциальных проблем
- Знание основ работы с БД, уверенное знание SQL
Будет плюсом:
- Опыт работы с Zepellin или Jupiter
- Знание Hadoop/HDFS, работа с Parquet-файлами, работа с hive
- Умение работать с GitLab CI
- Знание Bash достаточное, чтобы внести исправления в скрипты
- Минимальные знания Python
- Английский на уровне B1 и выше
Условия:
ЗП от $1800
Оформление ИП/Самозанятость,
100% оплата больничного и отпуска
Техника для работы
Корпоративные обучающие программы
Демократичный подход к процессам и плавающее начало рабочего дня.
Контакты:
Пожалуйста прикрепляйте сразу CV
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Scala
- Apache Spark
- ClickHouse
- HDFS
- Apache Airflow
- PostgreSQL
- Apache Kafka
- Apache Hive
- Apache Iceberg
- Java
- Linux
- SQL
- Zeppelin
- Jupyter
- Parquet
- GitLab CI
- Bash
- Python
Возможные вопросы на собеседовании
Проверка понимания внутреннего устройства основного инструмента обработки данных.
Расскажите о разнице между Transformations и Actions в Spark. Какие из них являются ленивыми?
Важно для оптимизации производительности ETL-процессов.
Что такое Data Skew в Spark и какими способами вы предлагаете с ним бороться?
Оценка навыков работы с хранилищами данных, указанными в стеке.
В каких случаях вы бы предпочли использовать ClickHouse вместо PostgreSQL для хранения данных?
Проверка опыта работы с форматами хранения данных.
Какие преимущества дает использование Apache Iceberg по сравнению с обычными Parquet-файлами в HDFS?
Оценка навыков оркестрации задач.
Как в Airflow реализовать зависимость между задачами в разных DAG (Cross-DAG dependency)?
Похожие вакансии
Data инженер Middle+ Senior
AI/ML Engineer
Senior Data Engineer
Data Scientist (Senior)
Data инженер (Senior)
Data Engineer
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Зарплата
- от 1 800 $