- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Аналитик-разработчик претрейна Alice AI LLM
Оценка ИИЭто вакансия в одной из топовых технологических компаний (Яндекс) над флагманским продуктом (Alice AI). Работа с LLM сейчас является самым востребованным направлением в IT, а отличный соцпакет и ДМС делают предложение крайне привлекательным.
Сложность вакансии
Оценка ИИРоль требует глубокой экспертизы в NLP и понимания специфики LLM. Высокая сложность обусловлена необходимостью не просто использовать готовые инструменты, а создавать новые методологии оценки качества для передовых моделей.
Анализ зарплаты
Оценка ИИЗарплата в тексте не указана, но для позиций уровня Senior/Middle+ в области LLM в Яндексе рыночные вилки обычно находятся в диапазоне от 350 000 до 600 000 рублей и выше, включая бонусы и опционы. Данная оценка соответствует высокому спросу на специалистов по генеративному AI.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Яндекс уже сейчас
Присоединяйтесь к команде Яндекса и создавайте будущее Alice AI LLM, развивая метрики качества мирового уровня!
Описание вакансии
*🔎 Аналитик-разработчик претрейна Alice AI LLM*
Наша команда занимается аналитикой претрейн-модели Alice AI LLM, которая лежит в основе Алисы, Поиска и многих других продуктов Яндекса. Наша цель — улучшать модель, решая множество прикладных задач, постоянно мониторить качество со всех сторон и не терять ничего важного. Для этого нам нужна система надёжных и разносторонних метрик — такими метриками (бенчмарками) и занимается наша команда. Ищем активных и заинтересованных аналитиков.
Какие задачи вас ждут:
• Создание метрик качества претрейна
Наша главная задача — всесторонне оценивать качество претрейн-модели. Перед нами часто возникают новые интересные задачи: как оценить агентские способности модели на этапе претрейна; как замерить, хорошо ли модель будет работать на задачах от разных сервисов Яндекса; хорошо ли наша модель с высоким сodeforces-рейтингом будет писать код для пользователей; как правильно принимать эксперименты на моделях разных размеров.
• Интерпретация результатов экспериментов
Команда разработки проводит много экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в этом случае задача аналитиков — помочь разобраться, что произошло.
• Анализ точек роста
Всё ещё остаются сложные задачи, с которыми наша модель пока не справляется на должном уровне, но мы стараемся выбрать из них самые перспективные, разобрать проблемы и вместе с командой разработки придумать план решения.
Мы ждём, что вы:
• Работали над метриками в NLP
• Уверенно владеете SQL и Python
• Умеете анализировать данные, строили эффективные процессы их обработки
Будет плюсом, если вы:
• Работали над LLM
• Строили агентские системы
• Делали крауд-разметки с системой контроля качества
Почему у нас классно:
ДМС Яндекса действует с первого месяца работы. Причём получить плановую или неотложную помощь можно и за рубежом — так что можно не бояться путешествовать. Это не все бонусы — полный список тут.
*📩 {{apply_contact}} на нашем сайте*
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- SQL
- NLP
- LLM
- Data Analysis
- Machine Learning
- Benchmarks
Возможные вопросы на собеседовании
Проверка практического опыта в профильной области вакансии.
Расскажите о наиболее сложной метрике качества в NLP, которую вам приходилось разрабатывать или адаптировать. С какими проблемами вы столкнулись?
Важно понимать, как кандидат подходит к анализу аномалий в данных экспериментов.
Как бы вы подошли к анализу ситуации, когда одна метрика качества LLM значительно выросла, а другая, коррелирующая с ней, упала?
Оценка понимания современных трендов и специфики претрейна.
Какие подходы вы бы предложили для оценки 'агентских способностей' модели именно на этапе претрейна, когда у нас еще нет дообучения под конкретные инструкции?
Проверка навыков работы с данными и инструментами.
Опишите ваш опыт построения пайплайнов обработки данных на Python/SQL для анализа результатов ML-экспериментов. Как вы обеспечиваете их воспроизводимость?
Выявление опыта в смежных областях, указанных как плюс.
Был ли у вас опыт работы с краудсорсингом (например, Толока) для сбора разметки? Как вы выстраивали систему контроля качества разметчиков?
Похожие вакансии
Data engineer
ML Engineer, Senior
Senior Data Engineer
Data Scientist Senior
Специалист по подготовке данных для ИИ (удалённо)
Data Engineer
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!