- Зарплата
- от 20 $
Откликайтесь
на вакансии с ИИ
QA Engineer (AI Agents)
Оценка ИИИнтересная и актуальная ниша (AI/LLM), почасовая оплата в долларах и полностью удаленный формат. Однако работа в ночное/вечернее время для жителей Европы/СНГ (PT пояс) может подойти не всем.
Сложность вакансии
Оценка ИИРоль требует специфического опыта тестирования LLM и AI-агентов, а также владения инструментами оценки (evals). Дополнительную сложность создает необходимость работы в часовом поясе PT (тихоокеанское время) и свободный английский.
Анализ зарплаты
Оценка ИИСтавка от $20 в час (примерно $3200-3500 в месяц при полной занятости) соответствует среднерыночному уровню для Middle QA на международном рынке, специализирующихся на AI. Верхняя граница не ограничена, что позволяет претендовать на более высокую компенсацию при наличии глубокой экспертизы в LLM.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Aspirity Solution уже сейчас
Присоединяйтесь к Aspirity Solution и станьте экспертом в тестировании передовых AI-агентов на международном рынке!
Описание вакансии
QA Engineer (AI Agents)
Локация: Удалённо вне РФ, РБ
Компания: Aspirity Solution
ЗП: от 20 USD/час и выше
Занятость: Полная
☝️ *хороший разговорный английский*!
Мы — Aspirity Solution, студия разработки с более чем 10-летним опытом создания веб- и мобильных приложений, no-code решений и интеллектуальных AI-агентов для клиентов по всему миру.
Сейчас мы ищем QA Engineer, который будет отвечать за качество, устойчивость и предсказуемость поведения AI-агентов и LLM-систем.
Чем предстоит заниматься:
- Тестировать и оценивать работу AI-агентов (диалоговые и когнитивные системы).
- Разрабатывать и проводить eval-тесты для проверки корректности, устойчивости и стабильности поведения агентов.
- Подготавливать тест-кейсы и сценарии функционального и нефункционального тестирования.
- Анализировать поведение агентов при нестандартных входных данных, выявлять логические ошибки и проблемы в промптах.
- Плотно взаимодействовать с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.
- Поддерживать и развивать автоматизацию тестирования и QA-процессы внутри AI-команды.
- Вести техническую документацию и описывать best practices.
Требования:
- Опыт работы в QA (manual или automation) от 2 лет.
- Практический опыт тестирования AI-агентов или чат-ботов.
- Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.
- Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами).
- Опыт автоматизированного тестирования (желательно — для AI-агентов).
- Уверенное владение Python на уровне написания тестов и утилитарных скриптов.
- Навыки работы с Git и системами отслеживания ошибок.
- Разговорный английский язык от B2 для работы в международной команде.
- Проживание вне РФ и РБ.
- Готовность работать в PT-часовом поясе: с 7:00 до 16:00 PT. (Время Америки, Вашингтон)
Будет плюсом:
- Опыт работы с LangChain, vapi, Synthflow или другими инструментами создания AI-агентов.
- Опыт анализа выходов LLM по метрикам качества: accuracy, coherence, relevance.
- Понимание CI/CD-процессов и базовых инструментов мониторинга.
- Участие в построении тестовой архитектуры для AI-систем.
Мы предлагаем:
- Полностью удалённый формат работы.
- Работу в сильной команде разработчиков, ML-инженеров и AI-специалистов.
- Возможность профессионально расти в QA для LLM- и AI-агентных систем.
- Оплату по квалификации — от 20 USD/час и выше.
💬 Резюме отправлять: Откликнуться
–––
Бесплатный постинг вакансий: @freeIT_job
Забирай 📚 Базу Знаний
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Git
- Python
- LLM
- CI/CD
- Prompt Engineering
- LangChain
- AI Agents
- QA
- DeepEval
- OpenAI Evals
Возможные вопросы на собеседовании
Проверка понимания специфики тестирования недетерминированных систем.
Как вы подходите к тестированию галлюцинаций и обеспечению фактической точности ответов AI-агента?
Оценка практического опыта работы с инструментарием, указанным в вакансии.
Расскажите о вашем опыте использования DeepEval или OpenAI Evals: какие метрики вы считаете наиболее критичными для оценки качества диалоговых систем?
Проверка навыков автоматизации на Python в контексте AI.
Как бы вы организовали автоматизированный пайплайн для регулярной проверки регрессии в поведении LLM-агента?
Оценка умения работать с промптами.
Приведите пример случая, когда изменение системного промпта привело к неожиданному поведению агента, и как вы это локализовали.
Проверка готовности к специфическому графику.
Насколько вам комфортно работать по графику 7:00 - 16:00 PT и как вы организуете свою продуктивность в таком режиме?
Похожие вакансии
QA FullStack (Middle)
QA Engineer (Middle)
QA Fullstack Java
QA Engineer
QA fullstack (Java)
QA специалист
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Зарплата
- от 20 $