Data инженер
Оценка ИИХорошая вакансия с современным стеком (GreenPlum, Airflow, DataHub) и четко описанными задачами. Удаленный формат и работа в крупном холдинге добавляют привлекательности, хотя уровень зарплаты не указан.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Оценка ИИПозиция требует уверенного владения SQL и Airflow, а также понимания архитектуры DWH. Уровень Middle предполагает самостоятельность, но требования к опыту (от 1 года) делают вакансию доступной для сильных специалистов начального уровня.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана. На рынке РФ для Middle Data Engineer с опытом от 1-2 лет медиана составляет около 200,000 - 250,000 рублей после вычета налогов. Проекты с GreenPlum и Hadoop часто оплачиваются по верхней границе рынка.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Action tech
Data инженер
Полная занятость
Формат работы: можно удалённо
*☑️* Чем предстоит заниматься
-На текущий момент мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих. Дальше планируем развивать и масштабировать инфраструктуру, запускать потоковое получение данных, увеличивать количество подключенных источников, развивать ETL и Reverse ETL, работать с качеством данных и развивать Data Catalog и Data Lineage
-Разрабатывать и дорабатывать ETL-процессы в Airflow
-Подключать новые источники данных
-Создавать и дорабатывать витрины
-Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
-Работать с большими объемами данных
-Развивать процессы контроля качества данных
*☑️* Наши пожелания к кандидатам
-Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось:) стремящийся к построению качественных процессов и, как следствие, качественному сбору, хранению и поставке данных
-От 1 года опыта работы с данными
-Отличное знание SQL: JOIN, оконные функции, процедуры
-Умение профилировать и оптимизировать запросы, понимать план выполнения
-Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM
-Практический опыт работы с Airflow и ETL-процессами
-Python на базовом уровне
-Знание Linux и умение работать с командной строкой
-Опыт работы с Git
-Понимание принципов работы Docker
-Опыт работы с большими данными (>100 GB)
-Опыт работы с DataHub
Контакты: Откликнуться
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- SQL
- ETL
- Airflow
- Greenplum
- PostgreSQL
- Python
- Linux
- Git
- Docker
- Hadoop
- DataHub
- Data Lineage
- Data Catalog
Возможные вопросы на собеседовании
Проверка понимания архитектуры хранилищ, указанной в требованиях.
Расскажите о различиях между слоями ODS, DDS и DM в архитектуре DWH. В каких случаях данные должны попадать напрямую в DM?
Вакансия предполагает работу с GreenPlum и оптимизацию запросов.
Какие методы оптимизации SQL-запросов вы использовали при работе с большими объемами данных в GreenPlum или PostgreSQL?
Airflow является ключевым инструментом в стеке компании.
Как вы организуете обработку ошибок и повторные запуски (retries) в DAG Airflow для обеспечения отказоустойчивости ETL-процессов?
В задачах упоминается работа с качеством данных.
Какие инструменты или подходы вы применяли для контроля качества данных (Data Quality) на разных этапах ETL-пайплайна?
Упоминается работа с DataHub и Data Lineage.
Был ли у вас опыт работы с Data Catalog инструментами? Как, по вашему мнению, Data Lineage помогает в эксплуатации больших DWH?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
