Senior NLP Engineer

Описание вакансии:

Обязанности:

-Разработка и развитие LLM-пайплайна Stage 1: cleanup транскриптов после диаризации (Sortformer + Whisper Large V3), автоматическое определение ролей спикеров и флагирование значимых событий в диалоге;

- Разработка и развитие LLM-пайплайна Stage 2: автогенерация структурированных документов в форматах DOCX/XML для backend-системы редактирования и многоступенчатая compliance-проверка по доменным правилам (~30+ нормативных требований);

- Файнтюнинг и prompt-инженерия LLM (gpt-class и open-weight моделей) под доменную задачу на казахском и русском языках; снижение hallucination rate и стабилизация выводов между запусками;

- NER в доменных текстах: участники диалога, действия, временные и пространственные метки, нормативные ссылки;

- Семантическая сегментация транскриптов: разбиение на смысловые эпизоды и выделение ключевых моментов (формальные процедуры, ходатайства, паузы, вопрос–ответ);

- Разработка eval-методик и regression-тестов LLM-выводов; ведение бенчмарков моделей (accuracy по доменным правилам, false-positive / false-negative, стабильность между запусками);

- Создание LLM-агента, который интерпретирует поведенческие и эмоциональные сигналы от CV- и Audio-модулей и формирует связный текст аналитического характера для конечного пользователя;

- Работа с юридическими онтологиями и нормативными источниками: УПК РК (в т.ч. статьи 68, 77, 115), УК РК, Конституция РК; поддержка актуальности базы знаний при изменениях законодательства;

- Дообучение и оптимизация ASR-моделей (Whisper Large V3, Sortformer V4 для диаризации) на казахском и русском языках с адаптацией под акустику целевого помещения, фоновые шумы, региональные акценты и доменную лексику; экспорт ONNX/TensorRT и развёртывание на Jetson;

- Разработка пайплайна извлечения аудио-просодических признаков (F0/pitch, jitter, shimmer, intensity, speech rate, паузы, voice quality, eGeMAPS) и моделирование на их основе психоэмоциональных маркеров (стресс, неуверенность, эмоциональное напряжение);

- Разработка финального мультимодального fusion-слоя: интеграция текстовых эмбеддингов (NLP), аудио-просодических признаков и визуальных сигналов от CV-модуля (мимика, микродвижения, поза) в единую интерпретацию психоэмоционального состояния спикера;

- Формирование итоговых аналитических выводов для конечного пользователя в виде структурированных мультимодальных аннотаций: фрагмент диалога с просодическим контекстом и поведенческими маркерами, ранжирование моментов по уровню значимости с указанием уровня уверенности модели.

Требования:

- 3+ года в NLP/LLM; опыт production-проектов с end-to-end LLM-пайплайнами;

- Глубокое знание архитектур трансформеров и LLM; опыт файнтюнинга (LoRA / QLoRA / SFT) и instruction tuning под доменные задачи;

- Уверенное владение HuggingFace Transformers, vLLM, llama.cpp; опыт inference-оптимизации (квантование, batching, KV-cache); работа с локально развёрнутыми моделями;

- Глубокие навыки построения RAG: chunking-стратегии, векторные БД (pgvector / FAISS / Pinecone), reranking, мультиязычные embeddings (включая казахский);

- Опыт минимизации галлюцинаций: structured outputs, guardrails, constrained decoding; ведение LLM-eval (ragas, LangSmith и аналоги);

- Опыт промышленной разработки на Python (FastAPI / Flask, Docker, Git); понимание юридического домена и работы с KZ/RU языками;

- Опыт дообучения ASR-моделей (Whisper / wav2vec2 / Sortformer) на доменных данных; работа с диаризацией спикеров, спикер-эмбеддингами и шумоподавлением;

- Практический опыт извлечения и моделирования аудио-просодических и paralinguistic-признаков (librosa, openSMILE, parselmouth / Praat, eGeMAPS); понимание акустических коррелятов эмоций и стресса;

- Опыт мультимодального fusion (early / late / hybrid fusion, cross-modal attention); работа с Audio Transformers (AST, HuBERT, wav2vec2) и multimodal LLM.

- Проекты в области LegalTech и цифровизации;

- Живые задачи, быстрые решения и пространство для инициативы;

- Оформление в штат, испытательный срок 3 месяца;

- График: 5/2, 9:00–18:00.

Контакты:

Telegram Откликнуться

Whatsapp 87077111920