Старший разработчик в команду LLM Inference Optimization

Описание вакансии

Старший разработчик в команду LLM Inference Optimization в Авито

Наша команда развивает направление оптимизации инференса LLM на GPU Авито. Мы повышаем эффективность использования оборудования и помогаем продуктовым командам запускать модели с учётом профиля нагрузки, качества и метрик производительности.

Что предстоит делать:

— проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под конкретные сценарии использования;

— развивать методику оценки производительности LLM на нашем оборудовании: бенчмарки, инструменты и мониторинг;

— регулярно замерять производительность, отслеживать выход новых моделей и поддерживать таблицу результатов;

— тестировать новые GPU и сопровождать их настройку вместе с командами инфраструктуры и платформы инференса;

— масштабировать оптимизации на весь парк моделей: спекулятивное декодирование, мульти-LoRA, распределённый инференс, переход на новые инференс-бэкенды;

— доводить изменения до продакшена по циклу - профилировать, оптимизировать, тестировать, внедрять при подтверждённых метриках;

— запускать LLM-модели с использованием платформы инференса.

Кого мы ищем:

— оптимизировали LLM-модели с учётом профиля нагрузки;

— работали с инференс-фреймворками LLM: vLLM, SGLang, TensorRT-LLM и другими, запускали и настраивали их, подбирали параметры;

— знаете, как устроен LLM-инференс, и понимаете методы оптимизации: prefill и decode, KV-кеш, batching, спекулятивное декодирование, квантизация;

— знаете принципы работы GPU: память, пропускная способность, утилизация, NVLink, конфигурации с несколькими GPU;

— профилировали GPU и работали с инструментами для мониторинга;

— проводили нагрузочное тестирование и бенчмаркинг LLM-моделей: latency, TTFT, TPOT, throughput, и тд, умеете корректно сравнивать результаты и делать выводы;

— работали с Docker, Kubernetes, метриками и дашбордами Prometheus, Grafana;

— готовы внедрять изменения в продакшен, поддерживать их и объяснять результат продуктовым командам.

Будет плюсом

— писали или оптимизировали CUDA-кернелы, понимаете SIMT и архитектуру GPU NVIDIA;

— внедряли спекулятивное декодирование, мульти-LoRA-сервинг или распределённый инференс;

— работали с роутингом и балансировкой с учётом KV-кеша: llm-d, NVIDIA Dynamo, Mooncake или аналогами;

— знаете C++ или Go;

— следите за статьями и проектами с открытым исходным кодом по ускорению инференса и быстро проверяете идеи на практике.

Условия сотрудничества:

— Москва

— расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;

— сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких;

— корпоративный спорт: групповые тренировки, велбиинг-приложение;

— спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование;

— компенсация питания;

— инженерная свобода для реализации масштабных задач;

— продуктовый подход к инфраструктуре, который базируется на метриках;

— сильное инженерное комьюнити, готовое поддержать и поделиться опытом;

— эффективные инструменты для роста и развития: матрица компетенций, внутреннее обучение, менторство и обмен опытом.

Как откликнуться:

— Откликнуться

Лучшие вакансии от работодателей мечты на promopoisk.com

👉Разместить вакансию