- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Ведущий инженер данных в VK Видео
Оценка ИИVK — один из крупнейших работодателей в РФ с сильной инженерной культурой и уникальными масштабами данных. Позиция предлагает работу с современным стеком (Spark, ClickHouse, YT) и гибридный формат работы в Москве.
Сложность вакансии
Оценка ИИРоль требует глубоких знаний распределенных систем (Hadoop, Spark) и умения работать с высоконагруженными хранилищами вроде ClickHouse. Статус 'Ведущего' подразумевает не только техническую экспертизу, но и навыки сбора требований и проведения код-ревью.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, однако для позиции ведущего инженера данных в Москве в крупных тех-компаниях уровень компенсации обычно находится в верхнем сегменте рынка. Предложенный диапазон отражает текущие реалии для специалистов уровня Senior/Lead в BigData.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в vk уже сейчас
Присоединяйтесь к команде VK Видео и создавайте высоконагруженные системы обработки данных для миллионов пользователей!
Описание вакансии
Ведущий инженер данных в VK Видео, Москва
#гибрид
Компания:Vk
🔹Задачи
-Разрабатывать и поддерживать процессы обработки и доставки данных для аналитических и ML команд
-Собирать витрины, оптимизировать
-Писать адхоки и выгрузки, раздебаги
-Собирать требования
🔹Требования
-Понимание работы параллельных вычислений на кластере
-Опыт с Airflow, Spark, Hadoop, ClickHouse, YT (опционально)
-Знание Python: алгосы базовые (для понимания оптимального кода), классы и прочий сложный код (для чтения исходников и создания велосипедов типа операторов/сервисов)
-Знание Git и работа с кодом в команде (ревью)
Контакты: Откликнуться
IT Jobs 💬 в Telegram | 💙 в VK | 💬 в Max
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- Apache Airflow
- Apache Spark
- Hadoop
- ClickHouse
- Git
- ETL
- Data Warehousing
Возможные вопросы на собеседовании
Проверка понимания архитектуры распределенных вычислений, критически важной для работы со Spark.
Расскажите, как происходит распределение данных и вычислений в Spark (Shuffle, Partitioning) и как вы боролись с проблемой перекоса данных (Data Skew)?
VK активно использует ClickHouse для аналитики; важно понимать нюансы оптимизации.
Какие движки таблиц в ClickHouse вы использовали и в каких случаях стоит выбирать ReplicatedMergeTree вместо обычного MergeTree?
Вакансия предполагает создание кастомных операторов и сервисов.
Опишите ваш опыт создания кастомных операторов или хуков в Airflow. В каких ситуациях стандартных решений было недостаточно?
Проверка навыков написания эффективного кода на Python.
Как вы подходите к оптимизации использования памяти в Python-скриптах при обработке больших объемов данных локально?
Ведущий инженер должен уметь взаимодействовать с заказчиками данных.
Как вы выстраиваете процесс сбора требований у ML-команд, чтобы итоговая витрина данных была максимально эффективной и масштабируемой?
Похожие вакансии
Team Lead MLOps / Tech Lead
Ведущий разработчик машинного обучения
TeamLead MLOps/DevOps (Banking / ML-Platform)
TPO (Technical Product Owner) в MLOps / Platform
Lead ML Engineer (NLP)
Team Lead Data Engineer
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Страна
- Россия