ML-разработчик (Inference)

Описание роли

На позиции ML-разработчика (Inference) в Яндекс Cloud вы будете заниматься оптимизацией и развитием инференса больших языковых моделей. Ваша работа будет сосредоточена на повышении производительности и масштабируемости, что позволит значительно улучшить качество обработки данных и время отклика. Вы будете работать с современными технологиями, такими как PyTorch и CUDA, а также взаимодействовать с распределёнными системами и облачной инфраструктурой. На данной позиции вы сможете углубиться в несколько направлений, включая тюнинг фреймворков и разработку API для интеграции с другими сервисами.
Ваши ключевые задачи:
• Оптимизация throughput и latency при генерации LLM.
• Внедрение техник, таких как speculative decoding и KV-cache.
• Разработка распределённых систем для инференса больших моделей.
• Интеграция с Kubernetes и автоматическое масштабирование систем.
• Низкоуровневая оптимизация с использованием CUDA и Triton.
• Разработка API и SDK для разработчиков и поддержка on-prem сценариев.
• Профилирование узких мест и работа с GPU-кластерами.

Уникальность вакансии

Работа в Яндексе предоставляет уникальную возможность участвовать в разработке передовых ML-технологий и работать с высоконагруженными системами. Вы будете частью команды, которая активно внедряет новые методики оптимизации и использует современные инструменты для достижения высоких результатов. Ваша работа будет иметь прямое влияние на качество и скорость обработки запросов, что важно для миллионов пользователей. Кроме того, компания предлагает гибкий график работы и возможность профессионального роста в стабильной и инновационной среде.

О компании Яндекс

Яндекс — ведущая IT-компания в России, специализирующаяся на разработке интернет-сервисов и технологий. Мы предлагаем широкий спектр продуктов, включая поисковую систему, облачные технологии и ML-сервисы. С более чем 10,000 сотрудников и миллионами пользователей по всему миру, Яндекс занимает лидирующие позиции в своей области. Наша миссия — создавать полезные технологии, которые делают жизнь людей лучше, а культура компании основана на инновациях, открытости и командной работе.