Data Engineer в команду CDP
Оценка ИИВысокий балл обусловлен сильным брендом компании (2ГИС), возможностью влиять на архитектуру новой платформы и работой с современным стеком (Kafka, Spark, ClickHouse). Удаленный формат работы также является значительным преимуществом.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Оценка ИИВакансия требует глубоких знаний в области highload-систем, опыта работы с Kafka и Spark, а также умения проектировать архитектуру данных с нуля. Работа с миллиардами событий и формирование стека платформы подразумевают высокий уровень ответственности и технической экспертизы.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, однако для позиции Data Engineer уровня Senior в крупных российских IT-компаниях рыночный диапазон составляет от 300 000 до 500 000 рублей. 2ГИС обычно предлагает конкурентоспособные условия, соответствующие рынку Москвы и Новосибирска.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
*💻 Data Engineer в команду CDP*
Удалённо · полный рабочий день
2ГИС развивает внутреннюю Customer Data Platform. Она объединяет данные из разных источников, строит пользовательские профили и помогает персонализировать продукт. Предстоит улучшать batch-пайплайны ежедневных признаков, создавать realtime-пайплайн на Kafka и проектировать обработку миллиардов событий.
Требования:
— опыт highload-систем и проектирования архитектуры данных или платформенного кода
— опыт Kafka, ClickHouse либо других систем потоковой и аналитической обработки
— понимание Spark и умение с ним работать
— хорошее владение языком программирования, например Python или Scala
Плюсом будут Airflow, SQL, Data Quality и Data Contracts, Data Lineage и Data Catalog, знание S3 и опыт персонализации, сегментации или real-time аналитики.
Стек платформы ещё формируется, можно влиять на архитектуру. Зарплата и грейд не указаны. Страны, из которых можно работать удалённо, в объявлении не перечислены.
*➡️* Откликнуться
*📍* Навигация: База знаний • Задачи • Собеседования
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Kafka
- ClickHouse
- Apache Spark
- Python
- Scala
- Apache Airflow
- SQL
- Data Quality
- Data Contracts
- Data Lineage
- Data Catalog
- Amazon S3
Возможные вопросы на собеседовании
Проверка опыта работы с высоконагруженными системами и понимания масштабируемости.
Расскажите о самом сложном кейсе обработки данных в highload-системе: с какими проблемами столкнулись и как их решили?
Оценка навыков проектирования real-time систем, что является одной из ключевых задач вакансии.
Как бы вы спроектировали real-time пайплайн на Kafka для обработки миллиарда событий в сутки с минимальной задержкой?
Проверка глубокого понимания работы Spark и умения оптимизировать ресурсы.
Какие методы оптимизации Spark-джобов вы используете при работе с перекосом данных (data skew)?
Оценка архитектурного мышления и понимания качества данных.
Как вы подходите к внедрению Data Quality и Data Contracts в развивающуюся платформу данных?
Проверка владения аналитическими СУБД, указанными в стеке.
В каких случаях вы предпочтете ClickHouse другим аналитическим хранилищам, и какие есть ограничения при его использовании в CDP?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
