ML-разработчик (Inference)

Описание роли

В роли ML-разработчика (Inference) вы работаете над одним из ключевых направлений ML-сервисов Yandex Cloud – оптимизацией и масштабированием инференса больших языковых моделей (LLM). Вы будете тесно взаимодействовать с командой инфраструктурных инженеров и исследователей, чтобы довести throughput и latency до мировых показателей. Ваша работа напрямую влияет на качество и скорость AI-сервисов, используемых миллионами пользователей и корпоративных клиентов. Задачи включают:
* Оптимизацию GPU-инференса: внедрение speculative decoding, continuous batching, эффективное использование KV-cache.
* Тюнинг фреймворков и библиотек (PyTorch, TensorRT, vLLM и других) с учетом специфики GPU-кластеров и NVLink.
* Профилирование узких мест в цепочке инференса и исправление критических bottlenecks.
* Разработку распределенных систем для инференса: интеграция с Kubernetes, сервис-мешами, балансировщиками и автоматическим масштабированием.
* Создание кастомных CUDA/Triton-ядр и операторов, оптимизацию памяти и вычислений на уровне аппаратуры.

Уникальность вакансии

Yandex Cloud предлагает уникальную возможность стать одним из первопроходцев в практике промышленного инференса LLM:
* Работа с реальными нагрузками государственных и коммерческих заказчиков.
* Доступ к современным GPU-кластерным решениям и внутренним инструментам профилирования.
* Гибридный формат: баланс между офисными дискуссиями и удаленной работой из дома.
* Возможность влиять на архитектуру платформы и выбирать оптимальные технологии.
* Регулярные митапы, обмен знаниями и свобода экспериментов.

О компании Яндекс

Яндекс – ведущая российская IT-компания, объединяющая поисковые технологии, облачные сервисы, картографию, логистику и продукты на основе AI. Миссия компании – сделать информацию понятной и доступной. В портфеле Yandex Cloud – решения для машинного обучения, анализа данных и платформенная инфраструктура, признанная на международном уровне за надежность и масштабируемость. Сотрудники отмечают дружелюбную атмосферу, мягкий бенефит-пакет и возможность профессионального роста внутри компании.