ML-разработчик для Inference

На позиции ML-разработчика (Inference) вы будете работать с передовыми технологиями в области машинного обучения и оптимизации инференса больших языковых моделей. Ваша миссия — создание высокопроизводительных и масштабируемых сервисов, которые будут задействованы в облачных решениях Яндекса. Вы будете заниматься оптимизацией производительности, разработкой распределённых систем, а также низкоуровневой оптимизацией для улучшения работы с GPU. В ежедневные обязанности войдут: оптимизация throughput и latency при генерации LLM, внедрение техник вроде speculative decoding и continuous batching, работа с GPU-кластерами и профилирование узких мест, разработка API и SDK для интеграции с облачной инфраструктурой, а также поддержка on-prem сценариев. Эта роль требует глубокого понимания работы трансформеров и LLM-инференса, опыта оптимизации под GPU, а также навыков работы с высоконагруженными сервисами и Kubernetes. Мы ожидаем от вас готовности к сложным задачам и интереса к новым технологиям, что откроет перед вами возможности для карьерного роста в быстро развивающейся области AI. Команда Яндекса предлагает уникальные условия для профессионального развития, сотрудничество с экспертами в области машинного обучения и возможность влиять на создание передовых технологий, используемых миллионами пользователей. Вы получите доступ к современному оборудованию и ресурсам, а также возможность участвовать в значимых проектах, где ваши идеи будут услышаны и реализованы. Работа в гибридном формате позволяет вам сочетать офисные дни с удалённой работой, что обеспечивает баланс между профессиональной деятельностью и личной жизнью.