- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Аналитик-разработчик претрейна Alice AI LLM
Оценка ИИЭто вакансия в одной из топовых технологических компаний (Яндекс) над флагманским продуктом (Alice AI). Работа с LLM сейчас является самым востребованным направлением в IT, а отличный соцпакет и ДМС делают предложение крайне привлекательным.
Сложность вакансии
Оценка ИИРоль требует глубокой экспертизы в NLP и понимания специфики LLM. Высокая сложность обусловлена необходимостью не просто использовать готовые инструменты, а создавать новые методологии оценки качества для передовых моделей.
Анализ зарплаты
Оценка ИИЗарплата в тексте не указана, но для позиций уровня Senior/Middle+ в области LLM в Яндексе рыночные вилки обычно находятся в диапазоне от 350 000 до 600 000 рублей и выше, включая бонусы и опционы. Данная оценка соответствует высокому спросу на специалистов по генеративному AI.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Яндекс уже сейчас
Присоединяйтесь к команде Яндекса и создавайте будущее Alice AI LLM, развивая метрики качества мирового уровня!
Описание вакансии
*🔎 Аналитик-разработчик претрейна Alice AI LLM*
Наша команда занимается аналитикой претрейн-модели Alice AI LLM, которая лежит в основе Алисы, Поиска и многих других продуктов Яндекса. Наша цель — улучшать модель, решая множество прикладных задач, постоянно мониторить качество со всех сторон и не терять ничего важного. Для этого нам нужна система надёжных и разносторонних метрик — такими метриками (бенчмарками) и занимается наша команда. Ищем активных и заинтересованных аналитиков.
Какие задачи вас ждут:
• Создание метрик качества претрейна
Наша главная задача — всесторонне оценивать качество претрейн-модели. Перед нами часто возникают новые интересные задачи: как оценить агентские способности модели на этапе претрейна; как замерить, хорошо ли модель будет работать на задачах от разных сервисов Яндекса; хорошо ли наша модель с высоким сodeforces-рейтингом будет писать код для пользователей; как правильно принимать эксперименты на моделях разных размеров.
• Интерпретация результатов экспериментов
Команда разработки проводит много экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в этом случае задача аналитиков — помочь разобраться, что произошло.
• Анализ точек роста
Всё ещё остаются сложные задачи, с которыми наша модель пока не справляется на должном уровне, но мы стараемся выбрать из них самые перспективные, разобрать проблемы и вместе с командой разработки придумать план решения.
Мы ждём, что вы:
• Работали над метриками в NLP
• Уверенно владеете SQL и Python
• Умеете анализировать данные, строили эффективные процессы их обработки
Будет плюсом, если вы:
• Работали над LLM
• Строили агентские системы
• Делали крауд-разметки с системой контроля качества
Почему у нас классно:
ДМС Яндекса действует с первого месяца работы. Причём получить плановую или неотложную помощь можно и за рубежом — так что можно не бояться путешествовать. Это не все бонусы — полный список тут.
*📩 {{apply_contact}} на нашем сайте*
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Data Analysis
- Python
- Machine Learning
- LLM
- SQL
- NLP
- Benchmarks
Возможные вопросы на собеседовании
Проверка практического опыта в профильной области вакансии.
Расскажите о наиболее сложной метрике качества в NLP, которую вам приходилось разрабатывать или адаптировать. С какими проблемами вы столкнулись?
Важно понимать, как кандидат подходит к анализу аномалий в данных экспериментов.
Как бы вы подошли к анализу ситуации, когда одна метрика качества LLM значительно выросла, а другая, коррелирующая с ней, упала?
Оценка понимания современных трендов и специфики претрейна.
Какие подходы вы бы предложили для оценки 'агентских способностей' модели именно на этапе претрейна, когда у нас еще нет дообучения под конкретные инструкции?
Проверка навыков работы с данными и инструментами.
Опишите ваш опыт построения пайплайнов обработки данных на Python/SQL для анализа результатов ML-экспериментов. Как вы обеспечиваете их воспроизводимость?
Выявление опыта в смежных областях, указанных как плюс.
