ML Engineer, LLM and Agentic Evaluations
Это отличная возможность для специалистов уровня Junior/Middle поработать над передовыми задачами в области LLM. Удаленный формат в Латинской Америке и фокус на Agentic AI делают вакансию очень привлекательной для регионального рынка.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Роль требует глубокого понимания архитектур LLM и методологий их оценки. Основная сложность заключается в создании надежных бенчмарков для сложных задач, таких как использование инструментов и компьютерное зрение.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Зарплата не указана, но для позиций ML Engineer уровня Junior-Middle в Латинской Америке рыночные ставки варьируются от $3000 до $6000 в месяц в зависимости от страны и опыта. Работа в AI-стартапе обычно предполагает конкурентную оплату на уровне верхних границ регионального рынка.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Описание вакансии
Published time: 2026-11-18
Company name: OpenTrain AI
Title: ML Engineer, LLM and Agentic Evaluations
Grades: junior, middle
Job description: Design, build and run evaluation suites for large language models across reasoning, coding, math, tool use and long-context tasks, including benchmarks and grading rubrics for function-calling and computer-use agents. Build programmatic and LLM-based graders and integrate evaluations into engineering harnesses and CI pipelines.
Location: Latin America
Anywhere: No
Remote: Yes
Forbidden locations: Outside Latin America
Tags:
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.

Навыки
- Python
- Machine Learning
- LLM
- CI/CD
- Natural Language Processing
- Benchmarking
Возможные вопросы на собеседовании
Проверка понимания специфики оценки агентов по сравнению с обычными чат-ботами.
В чем основные сложности оценки агентов, использующих инструменты (tool-use), и как вы предложите измерять их успех?
Оценка навыков автоматизации и интеграции в процесс разработки.
Как бы вы спроектировали CI-пайплайн для автоматического тестирования новой версии LLM на наборе бенчмарков?
Проверка знаний о современных методах оценки без участия человека.
Какие преимущества и недостатки у подхода 'LLM-as-a-judge' и как минимизировать предвзятость модели-судьи?
Оценка опыта работы с длинным контекстом.
Какие метрики вы бы использовали для оценки качества работы модели с длинным контекстом (Long-context tasks)?
Проверка практических навыков программирования и работы с данными.
Опишите ваш опыт создания программных грейдеров (programmatic graders) для задач кодинга или математики.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.

