yandex
MiddleУдалённоЧастичная занятость

ML Engineer, LLM and Agentic Evaluations

ИИОценка ИИ

Это отличная возможность для специалистов уровня Junior/Middle поработать над передовыми задачами в области LLM. Удаленный формат в Латинской Америке и фокус на Agentic AI делают вакансию очень привлекательной для регионального рынка.

Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.


Вакансия из открытого источника
Пожаловаться

Сложность вакансии

ЛегкоСложно
ИИОценка ИИ

Роль требует глубокого понимания архитектур LLM и методологий их оценки. Основная сложность заключается в создании надежных бенчмарков для сложных задач, таких как использование инструментов и компьютерное зрение.

Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.

Анализ зарплаты

Медиана4 500 $
Рынок2 500 $ – 6 500 $
ИИОценка ИИ

Зарплата не указана, но для позиций ML Engineer уровня Junior-Middle в Латинской Америке рыночные ставки варьируются от $3000 до $6000 в месяц в зависимости от страны и опыта. Работа в AI-стартапе обычно предполагает конкурентную оплату на уровне верхних границ регионального рынка.

Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.

Сопроводительное письмо

Составьте сопроводительное письмо под эту вакансию с вашим резюме

Иллюстрация сопроводительного письмаИллюстрация сопроводительного письма

Описание вакансии

Published time: 2026-11-18

Company name: OpenTrain AI

Title: ML Engineer, LLM and Agentic Evaluations

Grades: junior, middle

Job description: Design, build and run evaluation suites for large language models across reasoning, coding, math, tool use and long-context tasks, including benchmarks and grading rubrics for function-calling and computer-use agents. Build programmatic and LLM-based graders and integrate evaluations into engineering harnesses and CI pipelines.

Location: Latin America

Anywhere: No

Remote: Yes

Forbidden locations: Outside Latin America

Откликнуться

Tags:

Больше похожих вакансий + автоотклики с ИИ

Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.

Больше похожих вакансий + автоотклики с ИИ

Навыки

  • Python
  • Machine Learning
  • LLM
  • CI/CD
  • Natural Language Processing
  • Benchmarking

Возможные вопросы на собеседовании

Проверка понимания специфики оценки агентов по сравнению с обычными чат-ботами.

В чем основные сложности оценки агентов, использующих инструменты (tool-use), и как вы предложите измерять их успех?

Оценка навыков автоматизации и интеграции в процесс разработки.

Как бы вы спроектировали CI-пайплайн для автоматического тестирования новой версии LLM на наборе бенчмарков?

Проверка знаний о современных методах оценки без участия человека.

Какие преимущества и недостатки у подхода 'LLM-as-a-judge' и как минимизировать предвзятость модели-судьи?

Оценка опыта работы с длинным контекстом.

Какие метрики вы бы использовали для оценки качества работы модели с длинным контекстом (Long-context tasks)?

Проверка практических навыков программирования и работы с данными.

Опишите ваш опыт создания программных грейдеров (programmatic graders) для задач кодинга или математики.

Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.

Похожие вакансии

более 1000 офферов получено
4.9

1000+ офферов получено

Устали искать работу? Мы найдём её за вас

Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!