- Страна
- Россия
- Зарплата
- 200 000 ₽ – 250 000 ₽
Откликайтесь
на вакансии с ИИ
QA ML/LLM
Оценка ИИАктуальное и перспективное направление (ML/LLM) в стабильной компании. Предлагается конкурентная заработная плата и гибкий формат работы, что делает вакансию очень привлекательной для Middle-специалистов.
Сложность вакансии
Оценка ИИРоль требует не только классических навыков QA, но и специфических знаний в области ML и LLM, что значительно повышает порог входа. Необходимо понимать принципы работы нейросетей и уметь оценивать качество ответов языковых моделей.
Анализ зарплаты
Оценка ИИПредложенная зарплата (200-250 тыс. руб.) полностью соответствует рыночному уровню для Middle QA инженеров в Москве, специализирующихся на ML. Верхняя планка в 250 тысяч является достойным предложением для данного грейда.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Цифровые привычки уже сейчас
Присоединяйтесь к команде «Цифровые привычки» и станьте экспертом в тестировании передовых ML и LLM решений!
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- LLM
- Testing
- QA
- ML
Возможные вопросы на собеседовании
Важно понимать, как кандидат проверяет точность и релевантность ответов модели.
Какие метрики вы бы использовали для оценки качества ответов LLM (например, ROUGE, BLEU или кастомные подходы)?
Проверка устойчивости модели к манипуляциям — критический аспект безопасности LLM.
Как бы вы организовали тестирование на устойчивость к промпт-инъекциям (prompt injection)?
ML-системы зависят от данных, поэтому QA должен уметь их проверять.
Как вы подходите к тестированию наборов данных (datasets) для обучения и валидации ML-моделей?
Выяснение способности кандидата автоматизировать специфические процессы.
Какие инструменты автоматизации тестирования вы бы применили для интеграционных тестов ML-сервиса?
Проверка понимания жизненного цикла ML-разработки.
