ML-разработчик (Inference)

Описание роли

На позиции ML-разработчика (Inference) в Yandex Cloud вы станете важной частью команды, работающей над оптимизацией производительности и масштабируемости инференса для больших языковых моделей. Эта роль требует глубокого понимания архитектуры трансформеров и навыков в области оптимизации решений под GPU. Вы будете работать с современными технологиями и инструментами, что позволит вам влиять на эффективность и скорость обработки данных. Основная задача заключается в создании высокопроизводительных систем, которые поддерживают сложные сценарии использования.

Ваши ключевые задачи:
— Оптимизация throughput и latency при генерации LLM с использованием технологий, таких как speculative decoding и continuous batching.
— Разработка и поддержка распределённых систем для инференса моделей, включая интеграцию с Kubernetes и поддержка multi-node-сценариев.
— Профилирование узких мест в системах с использованием CUDA/Triton и создание кастомных ядер.
— Разработка API и SDK для разработчиков, автоматизация развертывания и обновления моделей, интеграция с облачной инфраструктурой.
— Поддержка on-prem-сценариев у клиентов и работа с балансировщиками.
— Взаимодействие с командой для реализации инновационных решений и улучшения существующих процессов.

Уникальность вакансии

Работа в Яндексе предоставляет уникальную возможность быть частью команды, которая разрабатывает передовые технологии в области машинного обучения. Вы будете работать с высококвалифицированными специалистами, имеющими опыт в создании и оптимизации сложных систем. Компания предлагает гибкий график и возможность работать в гибридном формате, что позволяет находить баланс между работой в офисе и удалённой работой. Кроме того, вы получите доступ к современным инструментам и ресурсам, необходимым для достижения успеха в вашей роли.

О компании Яндекс

Яндекс — это ведущая российская IT-компания, предоставляющая широкий спектр онлайн-сервисов и технологий, включая поисковую систему, облачные решения и машинное обучение. Яндекс активно развивает свои технологии в области AI, что позволяет компании оставаться на переднем крае индустрии. С более чем 10,000 сотрудников и миллионами пользователей, Яндекс занимает стабильные позиции на рынке, предлагая своим пользователям инновационные и качественные продукты. Миссия компании заключается в том, чтобы упрощать жизнь пользователей, предоставляя им доступ к необходимым технологиям и услугам.

Партнёрское размещение. ERID 2W5zFHoQEpH Партнёрское размещение. ERID 2W5zFJWuthw