- Страна
- Россия
Руководитель ML-команды системных промптов Alice AI
Оценка ИИЭто топовая позиция в одной из самых сильных ML-команд России. Работа над Alice AI дает доступ к уникальным ресурсам и данным, а также предлагает отличный социальный пакет.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИРоль требует редкого сочетания глубокой экспертизы в LLM Alignment и управленческих навыков. Высокая сложность обусловлена необходимостью работы на острие технологий с Alice AI и ответственностью за системные промпты.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата для руководителей ML-направлений в Яндексе обычно соответствует верхнему сегменту рынка. Учитывая сложность задач с LLM, компенсация может значительно превышать средние показатели по рынку для обычных ML-лидов.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
*🔎* Руководитель ML-команды системных промптов Alice AI
Alice AI помогает пользователям искать информацию, разбираться в сложных вопросах и работать с внешними инструментами. Команда алайнмента отвечает за системные промпты и управляемость модели. Мы ищем руководителя, который задаст техническое направление этой работы.
Какие задачи вас ждут:
• Техническое развитие направления
Вы будете формировать технический курс, выбирать ключевые гипотезы и принимать решения по результатам экспериментов.
• Обучение и управляемость модели
Вам предстоит развивать методы обучения, данные и reward-модели, которые помогают Alice AI следовать системным инструкциям.
• Оценка качества
Вы будете помогать формулировать требования к оценке, следить за её качеством и проверять, насколько надёжно она отражает изменения в поведении модели.
• Интеграция результатов
Вы будете доводить решения до релизной модели, согласовывать технические изменения и участвовать в разборе сложных проблем на стыке направлений.
• Техническая работа с командой
Вы будете исследовать актуальные подходы к управляемости языковых моделей, определять, какие из них подходят для наших задач, и проектировать решения для проверки на Alice AI.
Мы ждём, что вы:
• Хорошо понимаете устройство современных LLM, instruction tuning и методы алайнмента
• Руководили техническим развитием ML-направления или сложного исследовательского проекта
• Умеете связывать продуктовые цели, исследовательские гипотезы и метрики качества
• Строили воспроизводимый цикл ML-экспериментов и принимали технические решения по их результатам
• Умеете проектировать ML-системы и оценивать применимость новых подходов к задачам продукта
Будет плюсом, если вы:
• Работали с instruction following или controllability языковых моделей
• Работали с оценкой поведения LLM или reward-моделями
Почему у нас хорошо:
Мы предоставляем полный набор, который поможет уберечься от тревожности и выгорания: ежегодные медицинские чекапы, йога и психотерапия. Это не все бонусы — полный список тут.
*📩*{{apply_contact}}на нашем сайте
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- LLM
- Machine Learning
- Alignment
- Instruction Tuning
- Reward Modeling
- Python
- NLP
Возможные вопросы на собеседовании
Проверка глубины понимания методов настройки поведения модели.
Какие подходы к Alignment (RLHF, DPO, PPO) вы считаете наиболее эффективными для обеспечения строгого следования системным промптам и почему?
Оценка навыка проектирования систем оценки качества.
Как бы вы построили систему автоматической оценки (LLM-as-a-judge) для проверки устойчивости модели к промпт-инъекциям, пытающимся обойти системные инструкции?
Проверка опыта управления исследовательским циклом.
Расскажите о случае, когда ML-гипотеза не подтвердилась. Как вы принимали решение о прекращении работы над ней и какие выводы сделали для команды?
Оценка понимания работы с данными для обучения.
Как вы подходите к формированию датасета для instruction tuning, чтобы сбалансировать общую полезность ответов и строгое соблюдение ограничений системного промпта?
Проверка навыков интеграции и командного взаимодействия.
Как вы организуете процесс передачи результатов исследований в релизную модель, чтобы минимизировать риски деградации метрик в смежных областях?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
