- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Data Scientist (Модели оценки качества), Диалоговый ИИ и ML сервисы
Оценка ИИOZON — топовый работодатель с сильной инженерной культурой. Вакансия предлагает работу с передовым стеком (LLM, агенты) и прямое влияние на продукт, что отлично подходит для профессионального роста.
Сложность вакансии
Оценка ИИПозиция требует глубокой экспертизы в NLP и специфического опыта оценки LLM-решений, а также навыков написания продакшн-кода. Высокая планка ожиданий по опыту (от 3 лет в DS) делает роль доступной только для уверенных Middle+ специалистов.
Анализ зарплаты
Оценка ИИЗарплата в вакансии не указана, но для Middle Data Scientist в крупном российском бигтехе (OZON, Яндекс, Сбер) рыночный диапазон составляет 250,000–400,000 рублей после вычета налогов. Предложение OZON обычно находится на верхней границе рынка.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Ozon уже сейчас
Присоединяйтесь к команде OZON и создавайте передовые системы оценки качества для LLM-сервисов!
Описание вакансии
Data Scientist (Модели оценки качества), Диалоговый ИИ и ML сервисы
Компания: OZON
*🔹*Вы будете
-Погружаться в особенности создания наших проектов.
-Частью центра принятия решений о релизе моделей.
-Создавать и улучшать процессы вокруг оценки ML-решений.
-Проводить аудит поведения всех типов моделей отдела.
-Заботиться о качестве артефактов для построения и оценки моделей.
-Работать с LLM и LLM apps.
-Разрабатывать решения для реалтайм анализа динамики ведения диалога агентами с пользователем.
-Создавать инструменты для автоматической валидации решений на основе LLM (в том числе симуляции взаимодействия с агентами).
-Прототипировать ML-решения для проверки гипотез о влиянии на метрики.
-Задавать стандарты в оценке поведения и качества ответов агентов.
*🔹*Нам важно
-Опыт работы Data Scientist от 3х лет.
-Опыт работы с NLP от 2 лет.
-Практический опыт проведения процедур оценки LLM-решений.
-Опыт работы с агентами для консультации пользователей.
-Понимание ограничений LLM.
-Умение писать продакшн-код.
-Подготовка понятных отчетов.
-Умение объяснить сложные метрики понятным языком.
Python Job в Telegram | в VK | в Max
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- NLP
- LLM
- Machine Learning
- Data Science
Возможные вопросы на собеседовании
Проверка практического опыта работы с современными языковыми моделями.
Какие подходы и метрики вы использовали для оценки качества ответов LLM-агентов в своих прошлых проектах?
Оценка навыков проектирования систем автоматизации.
Как бы вы спроектировали систему автоматической валидации LLM-решений с использованием симуляции диалогов?
Проверка понимания рисков и ограничений технологии.
С какими основными ограничениями LLM вы сталкивались на практике и как вы их нивелировали в продакшн-решениях?
Оценка навыков работы с данными и мониторинга.
Как организовать реалтайм анализ динамики диалога для выявления аномалий в поведении агента?
Проверка умения коммуницировать результаты.
Как вы объясните нетехническому стейкхолдеру разницу между perplexity и бизнес-метриками качества диалога?
Похожие вакансии
Backend / ML Infrastructure / MLOps инженер
Специалист по науке о данных прогнозирования
Backend / ML Infrastructure / MLOps инженер (ИИ-ассистент)
Data Scientist
MLOps Engineer/Лидер команды (ИТ-лидер команды)
Middle Data Engineer
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!