ML-инженер по продуктивизации LLM (инференс и поставка, MWS AI)

О вакансии

MWS AI – это часть экосистемы МТС Web Services, где создаются AI-решения будущего. Голосовые ассистенты и чат-боты могут ответить на любой вопрос клиента, а компьютерное зрение \- распознавать лица и эмоции. Мы объединили сильных разработчиков, самый мощный суперкомпьютер, и прорывные идеи, чтобы делать жизнь людей комфортнее и безопаснее и помогать бизнесу.

Мы ищем опытного инженера, который доводит большие языковые модели от исследовательского чекпоинта до промышленной поставки: ускоряет инференс, квантует, измеряет качество и скорость, собирает поставку для клиентов и внутренних продуктов.

Чем предстоит заниматься

Квантование моделей (GPTQ, W8A8, FP8 и др.) и сравнение качества до и после.

Ускорение инференса: speculative decoding, MTP, кэширование префиксов, логит-процессоры.

Выбор и настройка рантаймов инференса (vLLM, SGLang, TensorRT-LLM, llama.cpp / MLX — по задаче).

Нагрузочное тестирование и методология замера скорости: throughput, latency, длинный контекст.

Автоматическая оценка моделей на бенчмарках и сравнение с open-source моделями (Qwen, GLM и др.).

Подготовка релизов моделей: чекпоинт в S3, Docker-образ, поставка в продукты и клиентам.

Разбор инцидентов у пользователей (качество, зацикливания, ошибки генерации).

Мы ждем от вас

Python на уровне промышленной разработки.

Практический опыт инференса LLM хотя бы в одном рантайме (vLLM, SGLang, TensorRT-LLM или аналог).

Понимание квантования и его влияния на качество.

Опыт замеров производительности моделей на GPU (latency, throughput, утилизация).

Docker; базовое понимание того, как модель запускается в Kubernetes.

PyTorch, Hugging Face Transformers.

Будет плюсом

Опыт оптимизации LLM — очень приветствуется: ускорение, сжатие, спарсификация моделей.

CUDA и C++: написание и оптимизация ядер, чтобы самостоятельно реализовывать низкоуровневые оптимизации (например, спарсификацию модели).

Speculative decoding, MTP, кастомные логит-процессоры.

Triton Inference Server.

ClearML или другой трекер экспериментов; автоматизация оценки.

Работа с длинным контекстом и reasoning-режимами.

Опыт поставки моделей во внешний контур клиента.

Речевые модели (TTS, ASR).

Что мы предлагаем

Гибридный формат работы. Оклад + квартальные и годовые бонусы. Комфортный офис в 10 минутах пешком от метро Таганская. ДМС со стоматологией, страхование при поездках за рубеж, страхование жизни. Участие в конференциях и митапах, обучение за счет компании. Бесплатная мобильная связь. Специальные предложения от партнеров и друзей МТС.