DA LEAD (Руководитель направления анализа и подготовки данных для AI)
Оценка ИИЭто топовая позиция в крупнейшей технологической компании страны с фокусом на самые актуальные технологии (GenAI). Отличные возможности для профессионального роста, масштабные задачи и работа с передовым стеком.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена лидерской ролью, необходимостью глубоких знаний в области GenAI (LLM, RAG) и управления полным циклом работы с данными. Требуется сочетание сильных технических навыков (Python, SQL, матстат) и управленческих компетенций.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата для позиции Lead Data Analyst в Москве в финтех-секторе обычно начинается от 350 000 рублей и может достигать 550 000+ рублей в зависимости от бонусов. Сбер предлагает конкурентные условия, соответствующие рыночным лидерам.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
DA LEAD В СБЕР, Москва
Обязанности:
Создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов (RAG, LLM, OCR)
Построение online/offline метрик качества, написание методологий оценки для мониторинга качества и регрессионного тестирования
Проводить эксперименты, проверять гипотезы по улучшению текущих AI-решений
Выявлять уязвимости в качестве в AI-пайплайнах и оперативно предлагать решения для устранения проблем в production (проводить A/B-тестирования)
Отвечать за качество данных и методологию их подготовки для AI/ML-проектов
Поддержка и оптимизация полного цикла работы с данными: сбор, хранение датасетов, разметка, авто-разметка (LLM-as-a-judge), валидация
Автоматизация data-циклов: сбор данных, разметка, подсчет метрик, оценка качества
Совместно с ML-инженерами определять требования к моделям и к данным (состав, объем и качество датасетов)
Руководить командой Data-аналитиков, Data-менеджеров, разметчиков
Говорить на одном языке с «бизнесом» и ML-инженерами: сбор и анализ бизнес-требований, понимание применимости и ограничений AI
Требования:
Любить data-driven подход)
Кросс-функциональное уметь разговаривать с DS и разработчиками
Python, SQL, уверенный vibe-coding
Понимание процесса деплоя моделей
Понимание работы LLM и знание понятий типа RAG, fine tuning, skills/tools, Data Governance
Знание подходов по оценке качества LLM, RAG
Знание матстата
Jira, agile итд
Soft skills (уверенный problem-solving)
Системное мышление
Будет плюсом:
Опыт построения процессов по оценке качества GenAI
Опыт работы с данными для LLM и AI-агентов
Опыт управления разметчиками
Опыт создания пайплайнов data lifecycle
Знакомство с LabelStudio, Toloka
Опыт работы с качеством разметки (consistency, honeypots, golden dataset)
Контакты: Откликнуться
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Agile
- A/B Testing
- Python
- LLM
- Fine-tuning
- SQL
- RAG
- OCR
- Jira
- Data Governance
- Label Studio
- Toloka
Возможные вопросы на собеседовании
Проверка практического опыта в оценке современных AI-систем.
Какие метрики вы бы использовали для оценки качества RAG-системы в production и как бы вы организовали процесс LLM-as-a-judge?
Оценка навыков управления качеством данных.
Как вы выстраиваете процесс контроля качества разметки (consistency, honeypots) при работе с большими объемами неструктурированных данных?
Проверка лидерских качеств и умения работать в Agile.
Опишите ваш опыт руководства кросс-функциональной командой: как вы распределяете задачи между аналитиками и разметчиками в условиях сжатых сроков?
Проверка понимания бизнес-ценности AI.
Как вы объясняете бизнес-заказчикам ограничения текущих LLM-моделей и риски, связанные с галлюцинациями?
Техническая база и работа с гипотезами.
Расскажите о самом сложном A/B-тестировании в вашей практике: какую гипотезу проверяли и как интерпретировали результаты для AI-пайплайна?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
