- Страна
- Вьетнам
Откликайтесь
на вакансии с ИИ
Technical AI Lead (EvalOps Platform)
Оценка ИИПривлекательная позиция для амбициозных инженеров: роль основателя (Founding Lead), работа с передовым стеком ИИ и возможность влиять на продукт с первого дня. Минус — высокая неопределенность ранней стадии.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена ролью Founding Lead, требующей не только глубоких знаний в LLM (RAG, агенты, EvalOps), но и навыков управления командой и выстраивания архитектуры с нуля.
Анализ зарплаты
Оценка ИИЗарплата не указана, но для позиции Technical Lead в сфере AI на международном рынке (даже с учетом локации во Вьетнаме) ожидается уровень значительно выше среднего по рынку разработки.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Станьте техническим лидером и создайте платформу оценки ИИ с нуля — откликнитесь прямо сейчас!
Описание вакансии
#vacancy #вакансия
Technical AI Lead (EvalOps Platform) 🚀
If you want to lead the build of a production AI evaluation platform from the first line of code to the first paying clients, this role is for you. You’ll be the founding technical lead, owning architecture, engineering standards, and delivery across a small AI-focused team.
👤 Requirements:
- 5+ years of engineering experience
- 2+ years leading teams of 3–8 engineers through a full product build cycle
- Strong production-grade Python backend: async, FastAPI, APIs, integrations, PostgreSQL, Redis
- Deep understanding of LLM evaluation: LLM-as-judge, calibration, golden datasets, regression testing, hallucination detection
- Production RAG experience: ingestion, chunking, embeddings, retrieval, re-ranking, vector databases
- Experience with AI agents and agentic workflows: ReAct, Plan-and-Execute, supervisor/sub-agent patterns
- LLM observability and distributed tracing experience
- Ability to make and justify architecture and build-vs-integrate decisions
- Strong written technical English
- Comfortable working in an ambiguous, early-stage product environment
⭐ Nice to have:
- OpenAI, Anthropic Claude and open-weight model experience
- MLflow or other experiment/dataset versioning tools
- EU AI Act / NIST AI RMF knowledge
- GDPR / PII handling in AI pipelines
- AI red teaming, jailbreak and prompt-injection testing
📌 Responsibilities:
- Lead architecture and a team of 5–7 engineers
- Build production AI evaluation, RAG quality & monitoring systems
- Own LLM observability, regression testing and cost/latency tracking
- Set engineering standards and work with pilot clients
🌍 Location: Da Nang / Hanoi, Vietnam · Remote eligible
💼 Format: Full-time, permanent
💰 Salary: Discussed based on experience
🚀 Product: New AI evaluation & observability platform, with the first paying pilot targeted by month 3 and commercial beta by month 6.
👉 Apply / contact: Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- LLM
- PostgreSQL
- RAG
- Redis
- MLflow
- FastAPI
- Vector Databases
- OpenAI
- asyncio
- Anthropic Claude
Возможные вопросы на собеседовании
Проверка понимания специфики продукта (EvalOps).
Как бы вы спроектировали систему автоматизированной оценки галлюцинаций для RAG-системы в условиях отсутствия эталонных ответов (ground truth)?
Оценка лидерских качеств и умения принимать архитектурные решения.
Опишите ваш подход к выбору между созданием собственного решения (build) и интеграцией готового (buy/integrate) для системы трейсинга LLM.
Проверка опыта работы с агентными архитектурами.
С какими основными проблемами стабильности вы сталкивались при реализации паттерна ReAct и как их решали?
Оценка навыков управления командой в стартапе.
Как вы будете выстраивать процессы код-ревью и инженерные стандарты в команде из 5-7 человек, чтобы не потерять скорость разработки на раннем этапе?
Проверка знаний в области безопасности и комплаенса.
