ML-разработчик (Inference) для Yandex Cloud

Описание роли

На позиции ML-разработчика (Inference) в Yandex Cloud вы будете заниматься ключевыми аспектами разработки и оптимизации инференса больших языковых моделей (LLM). Ваша задача будет заключаться не только в написании кода, но и в обеспечении высокой производительности и масштабируемости инференса, что влияет на качество сервисов, предоставляемых Yandex Cloud. Вы сможете выбирать направление работы в зависимости от ваших интересов и навыков, что позволит вам развиваться в различных областях, таких как дистрибуция и оркестрация, низкоуровневая оптимизация и разработка платформенных сервисов.
В ежедневные обязанности войдут:
• Оптимизация throughput и latency при генерации LLM с внедрением технологий speculative decoding и continuous batching.
• Тюнинг фреймворков, таких как PyTorch и TensorRT, а также работа с GPU-кластерами для повышения производительности.
• Разработка распределённых систем для инференса с интеграцией в Kubernetes и автоматическим масштабированием.
• Профилирование узких мест и работа с балансировщиками для поддержки multi-node-сценариев.
• Низкоуровневая оптимизация, включая разработку CUDA/Triton-kernels и кастомных операторов для повышения производительности.
• Разработка API, SDK и инструментов для автоматизации процесса развертывания и обновления моделей.

Уникальность вакансии

Работа в Yandex Cloud предлагает уникальную возможность участвовать в создании высоконагруженных решений, которые используются миллионами пользователей. Вы будете частью команды, которая активно внедряет передовые технологии и методы работы, что позволит вам развиваться в быстро меняющейся области AI. Компания предоставляет гибкий график и возможность работать как в офисе, так и удаленно, что помогает поддерживать баланс между работой и личной жизнью. Это отличная возможность для тех, кто хочет работать над сложными задачами и вносить реальный вклад в развитие технологий.

О компании Яндекс

Яндекс — это ведущая IT-компания в России, предоставляющая широкий спектр сервисов, включая поисковую систему, такси, электронную почту и облачные технологии. С более чем 10,000 сотрудников и миллионами пользователей, Яндекс активно развивает новые технологии и решения в области AI, предоставляя высококачественные сервисы и инновационные продукты. Миссия компании — использовать технологии, чтобы сделать жизнь людей проще и удобнее. Работая в Яндексе, вы присоединитесь к команде, которая ценит инновации, творчество и стремление к постоянному развитию.