AI Test Automation Engineer

Описание вакансии

**AI Test Automation Engineer

Новео, удаленно**

Мы — международная IT-компания НОВЕО. С 2002 г. занимаемся проектами по заказной разработке ПО для западноевропейского рынка.

Компанию отличает продуктовый подход к разработке и плотная интеграция специалистов в распределенную команду, что позволяет им напрямую влиять на техническое решение, качество кода и конечный результат.

Мы ждём от тебя:

*💦Опыт написания production-ready автотестов на Python (PyTest) и TypeScript (Playwright)* — чистый, читаемый, поддерживаемый код, проходящий code review;

*💦Практический опыт разработки или внедрения подходов к оценке качества LLM/AI-моделей (LLM evaluation): LLM-as-a-Judge, rubric-based scoring, semantic similarity* или аналогичных методов;

*💦Опыт работы с CI/CD в облачной инфраструктуре: использование canary-релизов, автоматических quality gates и механизмов автоматического отката (rollback*) при возникновении проблем;

*💦Опыт определения, измерения и контроля SLO (Service Level Objectives) для AI/ML-сервисов, включая такие показатели, как latency, accuracy и reliability*, а также автоматизации контроля этих метрик;

*💦*Опыт совместной работы с ML-инженерами: понимание особенностей работы с датасетами, результатами инференса моделей и метриками оценки качества (evaluation metrics);

*💦Уверенный письменный и разговорный английский язык (B2+ , C1).*

Задачи:

*🌸Разрабатывать и развивать фреймворки автоматизированного тестирования (PyTest, Playwright, k6) для четырех AI-продуктов, обеспечивая прохождение автоматических проверок качества (quality gates) для каждого Pull Request и canary-развертывания в Kubernetes-кластере Nebius;*

*🌸Отвечать за критерии автоматического отката (rollback) AI-моделей, качество canary- и A/B-развертываний, а также ежедневно анализировать и устранять проблемы в Kubernetes-кластере с использованием kubectl;*

*🌸Разрабатывать комплексные стратегии end-to-end тестирования, охватывающие API-контракты, обработку потоковых событий (event streams) и моделирование сценариев взаимодействия пользователей через различные каналы связи, включая LiveKit, PSTN и WebRTC;*

*🌸Создавать инструменты для оценки качества LLM-моделей, включая LLM-as-a-Judge, rubric-based scoring*, выявление аномалий (anomaly detection), а также тестирование защитных механизмов (guardrails) для обнаружения предвзятости (bias), галлюцинаций (hallucinations), токсичного контента (toxicity) и утечек персональных данных (PII) на всех поддерживаемых языках;

*🌸Совместно с командами R&D и ML Engineering* разрабатывать датасеты для оценки качества моделей и предоставлять структурированные результаты тестирования, способствующие их дальнейшему улучшению;

*🌸Определять и развивать систему SLO (Service Level Objectives) для Voice AI-платформы, организовывать мониторинг качества работы в production с использованием Azure Application Insights*, а также готовить регулярные отчеты по качеству продукта для руководства компании.

Что ты получаешь:

*☘️*Трудоустройство через договор с ИП/самозанятым без привязки к определенному местонахождению;

*☘️*Оплачиваемый отпуск и больничные;

*☘️*Стабильную долгосрочную загрузку (8 часов в день, 40 часов в неделю), гибкий график, гибридный формат работы;

*☘️*Работу в профессиональной распределенной команде над интересными проектами;

*☘️*Продуманный онбординг с опытным наставником, возможность изучения новых технологий и их применение в проектах, внутреннее обучение, митапы, tech talks и прокачка технических навыков;

*☘️*Сильную команду специалистов, четко выстроенные процессы;

*☘️*Бесплатное изучение иностранных языков в рабочее время с преподавателями компании (английский, французский);

*☘️*Компенсацию медицинских услуг, массажа или спорта (внутренний аналог ДМС).

Откликнуться

#engineer #remote