- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Data Engineer в команду CDP
Оценка ИИ2ГИС — известный бренд с сильной инженерной культурой. Вакансия предлагает работу с современным стеком (Spark, Kafka, ClickHouse) и масштабными данными, что отлично подходит для профессионального роста.
Сложность вакансии
Оценка ИИРоль требует глубоких знаний Spark и опыта работы с высоконагруженными системами (highload). Необходимо уметь проектировать архитектуру данных и работать как с batch, так и с realtime потоками.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, но для Data Engineer уровня Middle+/Senior в крупных российских IT-компаниях рынок предлагает конкурентные условия. Наши оценки базируются на данных по Новосибирску и Москве для удаленного формата работы.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в 2ГИС уже сейчас
Присоединяйтесь к команде 2ГИС, чтобы создавать высоконагруженные системы обработки данных для миллионов пользователей!
Описание вакансии
Data Engineer в команду CDP
Компания: 2Гис
*🔹*Тебе предстоит
-Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга.
-Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков.
-Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей.
-Решать сложные инженерные задачи: расчеты метрик, построение витрин.
-Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.
-Влиять на архитектурные решения и качество кода.
-Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.
*🔹*Ждем от тебя
-Опыт работы с highload-системами.
-Опыт проектирования архитектуры данных или платформенного кода.
-Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
Хорошо понимает, как работает Spark и умеет его готовить. Хорошо владеешь одним из языков программирования (например, Python или Scala).
-Самостоятельность и проактивность — ты не ждешь постановок, а предлагаешь решения.
-Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.
IT Jobs в Telegram | в VK | в Max
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Data Architecture
- Python
- Apache Spark
- Apache Kafka
- Batch Processing
- Scala
- ClickHouse
- Real-time Data Processing
- Highload
Возможные вопросы на собеседовании
Вакансия предполагает работу с миллиардами событий, важно понимать механизмы масштабирования.
Как бы вы спроектировали систему обработки realtime-событий из Kafka с учетом возможного резкого всплеска трафика?
В описании указана задача повышения эффективности daily-пайплайнов.
Какие основные методы оптимизации Spark-приложений вы используете для борьбы с data skew (перекосом данных)?
Работа ведется с ClickHouse для аналитики.
В каких случаях для хранения данных в ClickHouse вы выберете движок ReplacingMergeTree вместо обычного MergeTree?
Упоминается работа с признаками (features) для CDP.
Как обеспечить консистентность данных при расчете одних и тех же признаков в batch и realtime режимах (Lambda/Kappa архитектура)?
Компания ищет проактивного инженера.
