- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Дата-инженер в Дата-сервисы VK Tech
Оценка ИИVK — один из топовых работодателей в РФ с сильной инженерной культурой. Вакансия предлагает работу с современным стеком (ClickHouse, Spark, Airflow) и масштабные задачи по миграции данных, что отлично подходит для профессионального роста.
Сложность вакансии
Оценка ИИПозиция требует уверенного владения стеком Python/Airflow и глубокого понимания архитектуры DWH. Дополнительную сложность добавляет необходимость работы с распределенными системами (ClickHouse, YT) и предстоящая миграция на Hadoop/Spark.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, но для уровней Middle/Senior в Москве в таких компаниях, как VK, рынок предлагает конкурентные условия. Указанные оценки соответствуют текущим зарплатным ожиданиям для опытных дата-инженеров в крупном тех-секторе.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в vk уже сейчас
Присоединяйтесь к команде VK Tech и создавайте высоконагруженные ETL-процессы для крупнейшей IT-экосистемы страны!
Описание вакансии
Дата-инженер в Дата-сервисы VK Tech, Москва
#удаленка #офис #middle #senior
Компания: VK
*☑️*Задачи
-разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow;
-оптимизировать запросы и распределённые вычисления под ClickHouse и YT;
-мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость;
-помогать аналитикам с оптимизацией их SQL-запросов и структур данных;
-проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD);
-участвовать в миграции вычислительной платформы с YT на Hadoop/Spark.
*☑️*Требования
-опыт разработки и поддержки ETL-процессов на Python + Airflow;
-уверенное знание SQL (JOIN, оконные функции, CTE, агрегации);
-понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds;
-опыт оптимизации запросов в распределённых системах (ClickHouse или Spark);
-знание Git (ветки, коммиты, pull requests, code review);
-умение читать и анализировать чужой код.
Python Job в Telegram | в VK | в Max
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- Airflow
- ClickHouse
- SQL
- ETL
- ELT
- DWH
- SCD
- Hadoop
- Spark
- Git
Возможные вопросы на собеседовании
Проверка понимания архитектуры хранилищ данных.
Какие типы SCD (Slowly Changing Dimensions) вы использовали в своей практике и в каких случаях стоит выбирать тот или иной тип?
Оценка навыков оптимизации в распределенных БД.
Как бы вы оптимизировали запрос в ClickHouse, который начал работать медленно из-за резкого роста объема данных?
Проверка опыта работы с Airflow.
Как вы организуете мониторинг и обработку ошибок в сложных DAG-ах Airflow, чтобы обеспечить высокую наблюдаемость процессов?
Оценка готовности к миграции на Spark.
В чем основные отличия в подходах к обработке данных между YT и Spark, и на что стоит обратить внимание при миграции?
Проверка навыков проектирования витрин.
Опишите процесс проектирования витрины данных с нуля: от сбора требований до реализации финального слоя CDM.
Похожие вакансии
Python разработчик (DWH/Data Engineering)
Data Scientist Middle+, Senior
Data Scientist
Middle+ Data инженер
Senior ML/LLM Инженер
Senior ML аналитик (Kandinsky)
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!