Data Engineer
Интересная позиция для опытного инженера с возможностью работы в крупном DWH. Плюсом является удаленный формат, однако отсутствие указанной вилки зарплаты и работа через агентство могут быть нюансами для некоторых кандидатов.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Высокая сложность обусловлена требованием Senior-уровня и необходимостью владения широким стеком: от Hadoop-экосистемы до специфических ETL-инструментов вроде SAS DI или Informatica. Ожидается глубокая экспертиза в оптимизации SQL и архитектуре MPP-систем.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Зарплата для Senior Data Engineer с таким стеком (Hadoop, Greenplum, SAS/Informatica) на российском рынке обычно находится в диапазоне 300-450 тысяч рублей. Предложение соответствует рыночным ожиданиям для опытных специалистов в финтехе или крупном ритейле.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Описание вакансии
Top Selection
Data Engineer
Полная занятость
Формат работы: можно удалённо
*☑️* Чем предстоит заниматься
-проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов
-разрабатывать программный код и проводить его тестирование
-реализовывать кастомные трансформации данных
-проектировать и создавать прототипы и витрины данных
-разрабатывать процедуры на языке PL/pgSQL
-проводить анализ производительности существующих систем
-оптимизировать SQL-запросы и структуры баз данных
-участвовать в масштабировании и повышении производительности систем
-развивать архитектуру DWH
-анализировать и выбирать оптимальные технологии, инструменты и методологии
-создавать и актуализировать базу знаний для пользователей хранилища данных
-сопровождать и мониторить информационные системы в своей зоне ответственности
*☑️* Наши пожелания к кандидатам
-знание принципов построения хранилищ данных и архитектуры DWH
-понимание принципов работы MPP-систем
-практический опыт работы с экосистемой Hadoop:
-HDFS
-YARN
-Apache Spark
-Apache Kafka
-Apache NiFi
-Sqoop
-Flume
-уверенное знание SQL, включая DDL и DML
-опыт анализа и оптимизации сложных SQL-запросов
-опыт разработки на PL/pgSQL
-практический опыт работы с Greenplum или отличное знание PostgreSQL
-опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter
-понимание процессов проектирования потоков, преобразования и загрузки данных
-опыт сопровождения и мониторинга информационных систем
-навыки ведения проектной и технической документации
-опыт работы с Git, Jira и Confluence
*☑️* Будет плюсом
-опыт проектирования высоконагруженных хранилищ данных
-опыт масштабирования MPP- и Hadoop-систем
-участие в проектах по развитию крупных корпоративных DWH
-опыт построения сложных ETL/ELT-процессов и витрин данных
Контакты: Откликнуться
*🔥* Подписаться на наши каналы / Откликнуться / Откликнуться
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.

Навыки
- Git
- SQL
- PostgreSQL
- Apache Spark
- Hadoop
- Confluence
- ETL
- Jira
- Apache Kafka
- Apache NiFi
- ELT
- HDFS
- YARN
- DWH
- Sqoop
- Greenplum
- Flume
- PL/pgSQL
- Informatica PowerCenter
- SAS Data Integration Studio
Возможные вопросы на собеседовании
Проверка понимания архитектурных особенностей Greenplum и умения работать с распределенными данными.
Расскажите о стратегиях распределения данных (distribution keys) в Greenplum. Как неправильный выбор ключа влияет на производительность JOIN-операций?
Оценка навыков оптимизации производительности в Spark.
С какими проблемами перекоса данных (data skew) вы сталкивались в Spark и какие методы использовали для их решения?
Проверка опыта работы с потоковой передачей данных.
Как обеспечить семантику 'exactly-once' при интеграции Kafka и Spark Streaming?
Оценка навыков написания сложной логики на стороне БД.
В каких случаях вы предпочтете реализовать логику на PL/pgSQL, а не на уровне ETL-инструмента? Приведите примеры рисков.
Проверка методологического подхода к проектированию DWH.
Какие подходы к моделированию данных (Data Vault, Kimball, Inmon) вы использовали в крупных проектах и почему?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.

