ML-разработчик (Inference)

Описание роли

На позиции ML-разработчика (Inference) в команде ML-сервисов Yandex Cloud вы будете заниматься разработкой и оптимизацией высоконагруженных систем для инференса больших языковых моделей. Ваша работа будет влиять на производительность и масштабируемость решений, используемых миллионами пользователей. Вы сможете сосредоточиться на различных направлениях, включая оптимизацию throughput и latency при генерации LLM, что предполагает внедрение современных техник, таких как speculative decoding и continuous batching. Ваша работа будет заключаться в тюнинге фреймворков, таких как PyTorch и TensorRT, а также в работе с GPU-кластерами и профилировании узких мест.
Ваши ключевые задачи:
— Оптимизация производительности инференса с использованием различных техник.
— Разработка распределённых систем для инференса больших моделей.
— Интеграция с Kubernetes и сервис-мешами для автоматического масштабирования.
— Низкоуровневая оптимизация с использованием CUDA и Triton.
— Разработка API и SDK для разработчиков.
— Автоматизация развертывания и обновления моделей.

Уникальность вакансии

Работа в Яндексе предоставляет уникальные возможности для профессионального роста в области машинного обучения и искусственного интеллекта. Вы будете частью команды, которая активно использует передовые технологии и методы, а также разрабатывает масштабируемые решения для сложных задач. Яндекс поддерживает своих сотрудников, предлагая возможность участия в интересных проектах, а также обучение и повышение квалификации. Вы получите доступ к ресурсам и инфраструктуре, которые помогут вам реализовать ваши идеи и улучшить результаты работы.

О компании Яндекс

Яндекс — это ведущая IT-компания в России, известная своими инновационными продуктами в области поиска, рекламы, а также облачных сервисов. С более чем 10,000 сотрудников и миллионами активных пользователей, Яндекс стабильно занимает лидирующие позиции на рынке технологий. Миссия компании — создавать удобные и доступные технологии для повседневной жизни, а также обеспечивать высокое качество сервиса. Яндекс активно поддерживает развитие своих сотрудников, предлагая широкий спектр возможностей для обучения и карьерного роста.

Краткое описание

Удаленная работа в компании Яндекс с зарплатой до 8000 USD. Участвуйте в оптимизации инференса больших языковых моделей!