ML-разработчик (Inference)

Описание роли

В роли ML-разработчика (Inference) в Яндекс Cloud вы будете заниматься оптимизацией и масштабированием инференса больших языковых моделей (LLM). Ваша работа будет заключаться в улучшении производительности системы, что непосредственно повлияет на качество работы сервисов и их отклик для пользователей. Задачи будут разнообразными и позволят вам выбрать направление, в котором вы хотите развиваться, будь то низкоуровневая оптимизация или работа с распределенными системами. Ваша работа будет критически важна для обеспечения высоких показателей throughput и latency, что является ключевым в современных ML-системах.

Ваши ключевые задачи:
— Оптимизация параметров производительности для генерации LLM, включая работу с GPU-кластерами и профилирование.
— Внедрение современных техник, таких как speculative decoding и continuous batching.
— Разработка и поддержка распределённых систем для инференса, включая интеграцию с Kubernetes.
— Создание API и SDK для разработчиков, автоматизация развертывания моделей.
— Низкоуровневая оптимизация с использованием CUDA и Triton-kernels, работа с NVLink.
— Поддержка multi-node-сценариев и оптимизация работы с балансировщиками.
— Участие в разработке инструментов для мониторинга и профилирования систем.

Уникальность вакансии

Работа в Яндексе предоставляет уникальные возможности для профессионального роста в одной из ведущих компаний в области технологий и искусственного интеллекта. Вы будете иметь возможность работать с передовыми технологиями и участвовать в проектах, которые определяют будущее ML и AI-сервисов. В компании активно внедряются новейшие подходы и инструменты, что создает динамичную и инновационную среду. Яндекс предоставляет конкурентоспособный пакет вознаграждений, включая бонусы за достижения и возможности для обучения. Вы будете частью команды, которая ценит экспертизу и стремится к постоянному развитию в области ML.

О компании Яндекс

Яндекс — это один из крупнейших технологических концернов в России, предлагающий широкий спектр услуг и продуктов, включая поисковые системы, облачные технологии и решения в области искусственного интеллекта. Компания активно развивает свои ML-сервисы, ориентируясь на высокие технологии и инновации. В Яндексе работают более 10 тысяч сотрудников, и компания предоставляет свои услуги как в России, так и за ее пределами. Яндекс стремится к созданию технологий, которые делают жизнь пользователей проще и удобнее, а также активно поддерживает инициативы по обучению и развитию сотрудников. Мы ценим разнообразие в команде и стремимся создать инклюзивную рабочую среду.