- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Data инженер
Оценка ИИХорошая вакансия с современным стеком технологий и возможностью удаленной работы. Четко прописанные задачи и требования указывают на зрелые процессы в команде.
Сложность вакансии
Оценка ИИВакансия требует глубоких знаний BigData стека (Spark, Hadoop, Greenplum) и опыта вывода систем в прод, что повышает порог входа. Также важны навыки проектирования архитектуры и работы с CI/CD.
Анализ зарплаты
Оценка ИИПредложение соответствует рыночному уровню для Middle+/Senior Data Engineer в России. Верхняя граница рынка для таких специалистов может достигать 450 000 рублей в зависимости от сложности проектов.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Отправьте свое резюме Ивану прямо сейчас, чтобы обсудить участие в масштабных BigData проектах!
Описание вакансии
#9408
Data инженер
Локация: не важно
Формат работы: удалено
Требования:
- От 3 лет коммерческой разработки;
- От 2 лет - разработка систем, которые вышли в промышленную эксплуатацию;
- От 2 лет - BigData;
- Глубокие теоретические знания стека технологий и практический опыт;
- Умение давать и принимать обратную связь;
- Опыт работы с бизнес требованиями (сбор, формирование требований, анализ), опыт работы в условиях постоянно меняющихся требований;
- Опыт написания программ распределенных вычислений (Spark) и ETL процессов;
- Опыт проведения Code Review;
- Опыт/понимание разработки и проектирования архитектуры БД, создание и манипуляции с БД;
- Опыт оптимизации запросов;
- Понимание процессов CI/CD;
- Опыт написания unit тестов;
- Знание стека: Python 3.5+, Spark 2.2+, Hadoop, Hive, Airflow, Kubernetes (K8S), SQLAlchemy, PostgresQL, Greenplum, PyTest / Unittest, Flake8 / PyLint, Black, Docker, Git, GitLab, CI / CD, разрешение конфликтов, Shell, Linux.
Задачи:
- Разработка низкоуровневой архитектуры систем больших данных, на основании информации полученной от аналитиков и архитекторов;
- Разработка документа, описывающего низкоуровневую архитектуру разрабатываемых систем больших данных;
- Разработка программного кода систем больших данных;
- Подготовка документации, описывающей алгоритмы разработанных систем больших данных;
- Разработка Unit тестов для программного кода систем больших данных;
- Подготовка и сборка установочных пакетов, для установки разработанных решений на промышленную среду;
- Проведение плановых работ по оптимизации программного кода разработанных систем больших данных;
- Исправление дефектов в разработанных приложениях;
- Подготовка и выпуск пакетов обновлений, включающих в себя исправление дефектов и оптимизацию программного кода систем больших данных.
Писать Откликнуться
Канал Аутстаф запросов @outstaff_requests_phpdev
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Git
- Python
- Linux
- Kubernetes
- PostgreSQL
- Docker
- Apache Spark
- Hadoop
- ETL
- Apache Airflow
- PyTest
- GitLab CI/CD
- SQLAlchemy
- Shell
- Apache Hive
- Greenplum
Возможные вопросы на собеседовании
Проверка опыта работы с распределенными вычислениями и понимания внутреннего устройства Spark.
Расскажите о наиболее сложной задаче по оптимизации Spark-джоба: с какими проблемами столкнулись (например, data skew) и как их решили?
Оценка навыков проектирования хранилищ данных.
В каких случаях вы бы предпочли Greenplum классической PostgreSQL для аналитических задач? Опишите принципы распределения данных (distribution keys).
Проверка владения инструментами оркестрации.
Как вы организуете обработку ошибок и повторные запуски (retries) в сложных DAG-ах Airflow?
Оценка опыта работы с инфраструктурой.
Был ли у вас опыт развертывания или эксплуатации Data-сервисов в Kubernetes? С какими особенностями работы стейтфул-приложений в K8s вы сталкивались?
Проверка soft skills и процессов разработки.
Как вы подходите к проведению Code Review в распределенной команде и на что обращаете внимание в первую очередь при проверке ETL-кода?
Похожие вакансии
Senior Data Scientist
Data Scientist (Senior)
Data Scientist
Data Scientist Middle +
Data engineer
Сеньор-датасаентист в команду ML-разработки
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!