- Страна
- Россия
- Зарплата
- 80 000 ₽ – 120 000 ₽
QA-инженер AI-агента (тестирование и разметка данных)
Оценка ИИИнтересная и актуальная позиция в сфере AI с возможностью удаленной работы. Зарплата соответствует рыночному уровню для Middle-специалиста, а задачи позволяют профессионально расти в области ML-тестирования.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИРоль требует не только стандартных навыков QA (тест-дизайн, работа с TMS), но и специфических знаний в области LLM, разметки данных и анализа логов. Основная сложность заключается в работе с недетерминированностью нейросетей и необходимости высокой концентрации при разметке диалогов.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИПредложенная вилка 80 000 – 120 000 ₽ на руки соответствует среднерыночным ожиданиям для Middle QA-инженера в России, особенно с учетом специфики работы с AI, где требования к аналитическим навыкам выше стандартных.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Альвента
QA-инженер AI-агента (тестирование и разметка данных)
от 80 000 до 120 000 ₽ за месяц, на руки
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо
*☑️* Чем предстоит заниматься
-Строить тестовую модель агента: сценарии звонков (запись, перенос, отмена, консультация, продажа услуги), состояния и переходы между ними, граничные и нестандартные случаи
-Писать и поддерживать тест-кейсы и чек-листы, собирать регрессионные наборы
-Прогонять сценарии: звонить агенту вручную и запускать текстовые прогоны. Проверять перебивания, уход от темы, неполные ответы, шум, фамилии, телефоны, даты и время
-Учитывать недетерминированность LLM: гонять кейс несколько раз, считать долю успешных прогонов, отделять стабильные баги от случайных
-Заводить баги с чёткой классификацией: ошибка распознавания речи, неверный переход по сценарию, неправильно извлечённые данные, галлюцинация, грамматика, тон и стиль, синтез речи
-Анализировать логи реальных звонков, находить повторяющиеся проблемы и превращать их в тест-кейсы
-Размечать и исправлять датасеты под конкретные баги: интенты и поля, эталонные реплики агента, пары «хороший / плохой ответ» для дообучения
-Писать критерии оценки и инструкции для автоматической проверки ответов через LLM (LLM-as-a-judge) и выборочно проверять её оценки
-После каждого релиза или дообучения проверять, что старые баги закрыты и не появились новые
*☑️* Наши пожелания к кандидатам
-Коммерческий опыт в тестировании от 2 лет
-Уверенное владение техниками тест-дизайна: классы эквивалентности, граничные значения, таблицы решений, диаграммы состояний и переходов, pairwise
-Умение писать понятные тест-кейсы, чек-листы и баг-репорты; опыт с TMS (TestRail, Qase, Allure TestOps или аналоги)
-Понимание процессов QA: регресс, смоук, приоритизация багов, тестовое покрытие
-Отличная грамотность в русском языке: ты слышишь ошибки в согласовании, неестественные обороты и «канцелярит» в речи
-Внимательность и терпение к монотонной работе с большим объёмом диалогов и разметки
-Уверенная работа с таблицами и JSON: умеешь читать структурированные логи и данные
Будет плюсом:
-Опыт тестирования чат-ботов, голосовых ассистентов или других LLM-продуктов
-Опыт разметки данных (Label Studio, Толока или аналоги) и понимание, зачем нужна согласованность разметки
-Базовый Python: скрипты для обработки логов и датасетов, pytest
-Понимание, как работают LLM, промпты и дообучение (SFT, DPO) — хотя бы на уровне идей
-Опыт с API-тестированием (Postman, Swagger)
-Интерес к медицине или опыт работы с клиниками
Контакты: Откликнуться
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- QA
- Test Design
- TestRail
- Qase
- Allure TestOps
- JSON
- Python
- PyTest
- Postman
- Swagger
- LLM
- Data Labeling
Возможные вопросы на собеседовании
Проверка понимания специфики тестирования нейросетевых моделей.
Как вы будете подходить к тестированию функции, результат которой может меняться от запуска к запуску (недетерминированность LLM)?
Оценка навыков проектирования тестов для сложных систем со множеством состояний.
Расскажите, как вы построите диаграмму состояний и переходов для сценария записи пациента на прием к врачу через голосового ассистента?
Проверка лингвистической компетенции и внимания к качеству синтеза речи.
На какие аспекты вы будете обращать внимание при проверке синтезированной речи AI-агента, помимо правильности слов?
Оценка опыта работы с данными и инструментами разметки.
Был ли у вас опыт работы с JSON-логами или инструментами разметки данных? Как вы обеспечиваете согласованность разметки при работе с большими датасетами?
Проверка технического кругозора в области AI.
Что такое галлюцинация LLM в контексте диалогового агента и какие методы (кроме ручного прогона) можно использовать для их автоматического обнаружения?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
