- Страна
- Россия
Руководитель аналитики приёмки моделей в команду Alice AI
Оценка ИИЭто топовая позиция в одной из самых передовых AI-команд страны. Работа над Alice AI предлагает уникальные задачи, отличный соцпакет и возможность влиять на продукт с миллионной аудиторией.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИВысокая сложность обусловлена необходимостью сочетать глубокие знания ML/LLM с управленческим опытом и сильной математической базой. Работа с неполными данными и ответственность за качество ключевого продукта компании требуют высокого уровня профессионализма.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата в вакансии не указана, но для позиций уровня Head of Analytics в BigTech компаниях Москвы рынок предлагает конкурентные условия с учетом бонусов и акций. Предложение Яндекса обычно соответствует или превышает средние рыночные показатели для таких ролей.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
*🔎* Руководитель аналитики приёмки моделей в команду Alice AI
Алиса — один из самых популярных ассистентов в России, которым ежедневно пользуются миллионы людей. Наша команда развивает качество ключевой LLM-технологии компании: мы работаем над тем, чтобы модели становились умнее, полезнее и надёжнее.
Какие задачи вас ждут:
• Приёмка моделей
Вы будете полностью вести приёмку новых версий моделей: определять, какие замеры нужны для конкретного релиза, запускать оценки, объединять результаты и готовить заключение о качестве модели.
• Развитие системы метрик
Вы станете развивать систему метрик, которая покажет реальное качество моделей. Вам нужно будет определить обязательные сигналы, объединить разные оценки в общую картину, рассчитать статистическую значимость и научиться отличать настоящие изменения от случайного шума.
• Работа с данными и инструментами приёмки
Вы будете отвечать за оценочные наборы — определять их состав, следить за покрытием важных сценариев, управлять версиями и обеспечивать воспроизводимость замеров. Также вам предстоит развивать инструментарий: создавать автоматические оценщики на базе LLM (LLM-as-a-judge) и применять гибридные методы.
• Управление командой и процессами
Вы соберёте команду аналитиков приёмки, будете распределять направления работы, наставничать и планировать ресурсы.
Мы ждём, что вы:
• Управляли командой аналитиков не менее двух лет
• Любите работать с данными и умеете извлекать из них практический результат
• Знаете матстат и тервер
• Умеете писать код на Python и знаете алгоритмы
• Умеете формулировать обоснованное заключение и защищать его перед заказчиками в условиях неполных данных
Почему у нас хорошо:
Мы предоставляем полный набор, который поможет уберечься от тревожности и выгорания: ежегодные медицинские чекапы, йога и психотерапия. Это не все бонусы — полный список тут.
*📩*{{apply_contact}}на нашем сайте
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Python
- LLM
- Statistics
- Probability Theory
- Algorithms
- Data Analysis
- Team Management
Возможные вопросы на собеседовании
Проверка опыта в разработке методологии оценки качества.
Как вы определяете набор метрик для оценки новой версии LLM, чтобы сбалансировать точность ответов и их безопасность?
Оценка навыков работы с современными подходами к автоматизации аналитики.
Какие основные проблемы вы видите при использовании подхода LLM-as-a-judge и как вы предлагаете их минимизировать?
Проверка знаний математической статистики в контексте A/B тестирования и оценки моделей.
Как вы рассчитываете статистическую значимость изменений в качестве модели, если распределение оценок не является нормальным?
Оценка лидерских качеств и умения выстраивать процессы.
Опишите ваш подход к формированию команды аналитиков с нуля: какие роли вы выделите в первую очередь и как будете распределять зоны ответственности?
Проверка умения аргументировать позицию в сложных условиях.
Расскажите о случае, когда результаты замеров были противоречивыми. Как вы принимали решение о релизе модели и как защищали его перед заказчиками?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
