Старший инженер по оптимизации LLM-инференса

Что за роль

Старший разработчик присоединится к команде оптимизации LLM-инференса на GPU в Авито. Задача направления — повышать эффективность использования оборудования и помогать продуктовым командам запускать модели с учётом профиля нагрузки, качества ответов и производительности. Работа охватывает путь от бенчмарка и профилирования до внедрения оптимизаций в продакшен.

Что предстоит делать

• Проводить нагрузочное тестирование моделей по запросам продуктовых команд и настраивать их для конкретных сценариев использования.
• Развивать методику оценки производительности LLM на оборудовании: поддерживать бенчмарки, инструменты замеров и мониторинг.
• Регулярно измерять производительность, проверять новые модели и вести таблицу результатов для сопоставления вариантов.
• Тестировать новые GPU и совместно с командами инфраструктуры и платформы инференса сопровождать их настройку.
• Масштабировать оптимизации на парк моделей: применять спекулятивное декодирование, мульти-LoRA, распределённый инференс и новые инференс-бэкенды.
• Профилировать модели, оптимизировать и тестировать изменения, а затем внедрять их в продакшен при подтверждённых метриках.
• Запускать LLM-модели на платформе инференса, поддерживать внедрённые решения и объяснять их результаты продуктовым командам.

Что потребуется

• Практический опыт оптимизации LLM-моделей с учётом профиля нагрузки.
• Опыт запуска и настройки фреймворков инференса, например vLLM, SGLang или TensorRT-LLM, включая подбор параметров.
• Понимание этапов prefill и decode, KV-кеша, batching, спекулятивного декодирования и квантизации.
• Знание принципов работы GPU: памяти, пропускной способности, утилизации, NVLink и конфигураций с несколькими GPU.
• Навыки профилирования GPU, нагрузочного тестирования и бенчмаркинга по latency, TTFT, TPOT и throughput; умение корректно сравнивать результаты.
• Опыт работы с Docker, Kubernetes, метриками и дашбордами Prometheus и Grafana; готовность внедрять и сопровождать изменения в продакшене.

Что важно знать

В работе сочетаются инженерия производительности, инфраструктура GPU и эксплуатация LLM-моделей. Дополнительным преимуществом будут CUDA-кернелы, знание SIMT и архитектуры NVIDIA, опыт мульти-LoRA-сервинга, распределённого инференса или маршрутизации с учётом KV-кеша, а также C++ или Go. В компании предусмотрены ДМС, страхование жизни и онкострахование, психологическая и профильные консультации, компенсация питания, корпоративный спорт, внутреннее обучение и менторство.