- Страна
- Россия
- Зарплата
- до 1 400 ₽
QA Engineer ИИ-решений
Оценка ИИИнтересный проект в сфере AI/LLM с использованием современных инструментов (Dify, RAG). Однако проектная форма занятости (ГПХ/ИП) и почасовая оплата могут подойти не всем, кто ищет стабильный штат.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИРоль требует не только классических навыков QA (API, SQL, Python), но и глубокого понимания специфики LLM, включая борьбу с галлюцинациями и работу с RAG. Необходимость формирования тестовых выборок для нейросетей значительно повышает порог входа по сравнению с обычным тестированием ПО.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИПредложенная ставка до 1400 руб./час (около 235 000 руб./мес при полной занятости) соответствует среднерыночному уровню для Middle/Senior QA в Москве, но для узкой специализации в AI/ML это скорее нижняя граница рынка. Специалисты с опытом в LLM-eval часто претендуют на более высокие оклады в продуктовых компаниях.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
QA Engineer ИИ-решений в компанию Kokoc Tech
Специалист привлекается для поддержки AI-команды (RnD AI Team), реализующей портфель ИИ-инициатив для бизнес-подразделений компании на внутренней платформе Dify.
*📝 Обязанности*
- Подготовка тест-кейсов на основании требований и критериев приемки инициатив;
- Функциональное и интеграционное тестирование ИИ-агентов, workflow на платформе Dify, API-интеграций со внутренними системами;
- Проверка позитивных, негативных и пограничных сценариев, включая нетипичные запросы пользователей и «галлюцинации» модели;
- Регрессионное тестирование после изменений промптов, моделей, базы знаний (RAG) и интеграций;
- Проверка соответствия результата согласованным требованиям и метрикам качества;
- Формирование и поддержание тестовых выборок (golden set) совместно с бизнесом и ML-командой, участие в оценке качества ответов;
- Фиксация дефектов, контроль их устранения, отчётность по качеству релизов;
- Проведение приемочного тестирования перед выпуском в production и участие в приемке с бизнесом.
*🔍 Требования*
От 3 лет в тестировании ПО.
От 1 года тестирования продуктов на основе ML/LLM или тестирования API и интеграций backend-сервисов; понимание специфики недетерминированных ответов модели.
Не менее 2 проектов тестирования интеграционных / API-решений или ИИ-продуктов с выводом в промышленную эксплуатацию; опыт построения регрессионных наборов и тестовых выборок.
Желательно: e-commerce, ритейл, B2B-дистрибуция, клиентский сервис.
Тест-дизайн, тестовая документация, работа с баг-трекером;
Тестирование REST API (Postman или аналоги), чтение JSON, логов;
SQL на уровне выборок для проверки данных;
Python на базовом уровне для скриптов проверки и подготовки тестовых данных;
Понимание принципов работы LLM, RAG, промптов и метрик качества ИИ.
*💎 Будет преимуществом*
Опыт работы с платформами оркестрации LLM (Dify, LangChain и т.п.);
Автоматизация тестирования API (pytest, requests) и LLM-eval инструменты (RAGAS, DeepEval, promptfoo или аналоги);
Опыт разметки и оценки ответов модели (LLM-as-a-judge, ручная оценка по рубрикам);
CI/CD, Git на базовом уровне.
*🕹 Условия*
Проектная, долгосрочный проект (Фултайм).
Удаленно по РФ.
Локация: строго Москва, Саранск.
Оформление: ГПХ, ИП.
Вилка: до 1400р в час гросс.
*📞 Контакты*
Telegram: Откликнуться
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- QA
- LLM
- Machine Learning
- API Testing
- REST API
- Postman
- JSON
- SQL
- Python
- RAG
- Dify
- LangChain
- PyTest
- Git
- CI/CD
Возможные вопросы на собеседовании
Проверка понимания специфики тестирования ИИ-продуктов.
Как вы подходите к тестированию недетерминированных ответов LLM и какие метрики используете для оценки их качества?
Оценка практического опыта работы с RAG-системами.
Какие сценарии вы бы включили в регрессионное тестирование при обновлении базы знаний (RAG) для ИИ-агента?
Проверка навыков работы с инструментарием, указанным в вакансии.
Был ли у вас опыт использования инструментов автоматизированной оценки LLM, таких как RAGAS или DeepEval? Если нет, как бы вы организовали процесс оценки ответов 'LLM-as-a-judge'?
Проверка навыков интеграционного тестирования.
Опишите ваш процесс тестирования API-интеграции между платформой Dify и внутренней CRM-системой: на что обратите внимание в первую очередь?
Оценка умения работать с данными.
Как вы формируете 'golden set' (эталонную выборку) для проверки качества ответов модели совместно с бизнес-заказчиками?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
