- Зарплата
- от 170 000 $
Lead Engineer, AI Quality
Оценка ИИОтличная вакансия в известной компании с прозрачной и высокой зарплатой. Полная удаленка по всему миру и работа над передовыми технологиями (AI Agents) делают это предложение крайне привлекательным для опытных инженеров.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИРоль требует редкого сочетания навыков: глубокого понимания LLM-агентов, опыта в MLOps и способности руководить командой в формате 'играющего тренера'. Высокая сложность обусловлена необходимостью создания инфраструктуры оценки с нуля в быстро меняющейся среде.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИПредложенная зарплата в $170,000 соответствует рыночному уровню для позиций Lead Engineer в международных технологических компаниях, хотя для топовых AI-ролей в США верхняя граница может быть выше. Тем не менее, для полностью удаленного формата работы по всему миру это очень конкурентоспособное предложение.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Published time: 2026-09-23
Company name: Circle
Title: Lead Engineer, AI Quality
Salary: USD 170,000
Grades: lead, senior+
Job description: Player-coach lead of the AI Quality team: build evaluation infrastructure (CI/CD pipelines, scorers, datasets) for Circle's LLM agents, diagnose failures across planning and tool use, and run experiments across prompts, models and the agent harness.
Location: Anywhere
Anywhere: Yes
Remote: Yes
Tags:
#ai #llm #ai_agents #evaluation #mlops #python #ruby #rails #lead #full_time #remote #worldwide
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- LLM
- Python
- Ruby on Rails
- MLOps
- CI/CD
- AI Agents
- Evaluation Infrastructure
Возможные вопросы на собеседовании
Проверка опыта в создании систем оценки для недетерминированных моделей.
Как бы вы спроектировали систему автоматизированного тестирования для LLM-агента, чьи ответы могут варьироваться при одинаковых входных данных?
Оценка навыков отладки сложных систем.
Опишите ваш подход к диагностике ошибок в цепочках рассуждений (reasoning chains) агента, когда он выбирает неверный инструмент.
Проверка понимания метрик качества ИИ.
Какие метрики, помимо точности, вы считаете наиболее критичными для оценки качества работы ИИ-агентов в продуктовой среде?
Оценка лидерских качеств в технической среде.
Как вы балансируете между написанием кода и управленческими задачами в роли Lead Engineer?
Проверка навыков работы с данными.
Как вы подходите к созданию и поддержке 'золотых наборов' данных (golden datasets) для тестирования регрессии в ИИ-моделях?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
