ML-разработчик (Inference) в ML-сервисы Yandex Cloud

Описание роли

На позиции ML-разработчика (Inference) вы будете работать в команде, занимающейся разработкой и оптимизацией ML-сервисов в Yandex Cloud. Ваша работа будет сосредоточена на улучшении производительности и масштабируемости инференса больших языковых моделей (LLM), что является стратегически важной задачей для компании. Вы будете задействованы в различных аспектах, включая оптимизацию throughput и latency, а также внедрение передовых техник, таких как speculative decoding и continuous batching. Это даст вам возможность не только применять свои знания, но и развивать новые навыки в области ML, работая с современными инструментами и фреймворками.

Ваши ключевые задачи:
— Оптимизация производительности инференса с помощью tuning фреймворков и работы с GPU-кластерами.
— Внедрение инновационных техник для повышения throughput и уменьшения latency в генерации LLM.
— Разработка распределённых систем для инференса, включая интеграцию с Kubernetes и сервис-мешами.
— Поддержка multi-node-сценариев и автоматическое масштабирование.
— Низкоуровневая оптимизация с использованием CUDA и Triton-kernels.
— Разработка API и SDK для разработчиков, автоматизация развёртывания моделей.
— Профилирование и устранение узких мест в вычислениях и памяти.

Уникальность вакансии

Работа в Yandex предоставляет уникальную возможность быть частью команды, которая находится на переднем крае технологий машинного обучения и обработки естественного языка. Вы будете работать над проектами, которые имеют реальное значение и влияют на миллионы пользователей. Компания активно инвестирует в развитие своих сотрудников, предлагая обучение и доступ к современным инструментам. Формат работы гибридный, что позволяет сочетать преимущества офиса и удаленной работы, обеспечивая комфорт и эффективность.

О компании Яндекс

Яндекс — это одна из крупнейших IT-компаний в России, специализирующаяся на разработке поисковых систем, интернет-сервисов и технологий в области машинного обучения. Яндекс активно развивает свои облачные решения и ML-сервисы, предоставляя мощные инструменты для бизнеса и разработчиков. Компания имеет широкую клиентскую базу, включая более 1000 корпоративных клиентов, и активно работает на международных рынках. Яндекс ценит инновации, командную работу и профессиональное развитие своих сотрудников, создавая условия для их роста и реализации потенциала.