Senior LLMOps Engineer
Отличное предложение с очень высокой для региона зарплатой и доступом к топовому железу (H200). Работа над национальным проектом добавляет значимости опыту.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Высокая сложность обусловлена необходимостью глубоких знаний в области инференса LLM (vLLM, Triton) и работы с GPU NVIDIA на низком уровне, а также требованиями к безопасности в закрытом контуре.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Предлагаемая зарплата (1.5–2.0 млн тенге) значительно выше средней по рынку Казахстана для Senior-инженеров, что отражает дефицитность навыков LLMOps и работу с передовым оборудованием.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Описание вакансии
Senior LLMOps Engineer
Social Health Insurance Fund
1,500,000 to 2,000,000 KZT Gross per month
Astana / Office
The Social Health Insurance Fund is a national organization based in Astana, building a nationwide healthcare AI platform on in-house NVIDIA H200 infrastructure.
Responsibilities:
• Deploy LLMs and related models in a closed environment; ensure stable, efficient inference.
• Build RAG and AI-agent infrastructure with AI and Data Engineers.
• Establish CI/CD, model versioning, monitoring, access controls, and auditing.
Requirements:
• Higher education in IT and 3+ years’ experience operating production ML/LLM services.
• Linux, Docker, Kubernetes, and Helm experience.
• Deploy LLMs with vLLM, SGLang, or Triton; understand inference systems.
• Experience with NVIDIA GPUs, drivers, and CUDA.
• Python, Bash, CI/CD, Prometheus, and Grafana.
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.

Навыки
- Python
- Linux
- LLM
- Kubernetes
- Helm
- Bash
- Prometheus
- Grafana
- CI/CD
- RAG
- Docker
- CUDA
- LLMOps
- Triton Inference Server
- vLLM
- NVIDIA GPU
- NVIDIA H200
- SGLang
Возможные вопросы на собеседовании
Проверка практического опыта оптимизации производительности моделей на специфическом железе.
Как бы вы оптимизировали пропускную способность (throughput) и задержку (latency) при деплое LLM на кластере с NVIDIA H200?
Важно понимать, как кандидат обеспечит надежность системы в изолированной среде.
Опишите ваш подход к организации мониторинга и алертинга для LLM-сервисов в закрытом сетевом контуре без доступа к внешним облачным сервисам.
Проверка навыков интеграции LLM в сложные архитектуры.
С какими основными проблемами вы сталкивались при масштабировании RAG-систем в Kubernetes и как их решали?
Оценка опыта работы с инструментами инференса.
В каких случаях вы выберете vLLM вместо Triton Inference Server, и наоборот, для задач обслуживания языковых моделей?
Проверка навыков автоматизации и управления жизненным циклом моделей.
Как вы организуете версионирование моделей и процесс CI/CD, чтобы минимизировать время простоя при обновлении весов LLM?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.

