ML-разработчик (Inference)
Описание роли
На позиции ML-разработчика (Inference) в Яндекс Cloud вы будете заниматься оптимизацией и масштабированием инференса больших языковых моделей (LLM). Ваша работа будет заключаться в улучшении производительности с помощью различных техник, включая speculative decoding и continuous batching. Вы будете отвечать за дистрибуцию и оркестрацию, что включает интеграцию с Kubernetes и создание распределенных систем для инференса. Кроме того, вы будете заниматься низкоуровневой оптимизацией, включая работу с CUDA и Triton-kernels, а также разработкой платформенных сервисов для API и SDK.
Ваши ключевые задачи:
• Оптимизация throughput и latency для генерации LLM, внедрение современных техник.
• Работа с GPU-кластерами и профилирование узких мест для повышения производительности.
• Разработка и поддержка распределённых систем для инференса больших моделей.
• Интеграция с Kubernetes и управление балансировкой нагрузки.
• Низкоуровневая оптимизация с использованием CUDA/Triton и создание кастомных ядер.
• Разработка API и SDK для автоматизации развёртывания и обновления моделей.
Уникальность вакансии
Работа в Яндекс Cloud предоставляет уникальную возможность повлиять на развитие передовых ML-технологий. Вы будете частью команды, которая разрабатывает решения для масштабирования инференса, что крайне актуально в условиях растущего интереса к большим языковым моделям. Яндекс предлагает отличные условия труда, включая гибридный формат работы, что позволяет сочетать офис и удалённую работу. Команда активно использует новейшие технологии и инструменты, что создаёт возможности для профессионального роста и развития.
О компании Яндекс
Яндекс — это ведущая IT-компания в России, предоставляющая широкий спектр технологий и услуг, включая поисковые системы, облачные решения и AI-технологии. С более чем 10,000 сотрудников, Яндекс активно развивает свои продукты и услуги на рынке, занимая лидирующие позиции в области интернет-технологий. Компания ориентирована на инновации и активно поддерживает развитие своих сотрудников, предлагая возможности для обучения и карьерного роста. Яндекс также известен своей корпоративной культурой, которая ценит открытость, сотрудничество и креативность.
