ML-разработчик для инфраструктуры Alice AI LLM

Что за роль

В команде инфраструктуры Alice AI LLM вы будете заниматься оптимизацией обучения языковых моделей, разработкой эффективных схем коммуникаций и выполнением низкоуровневых оптимизаций. Основные задачи включают:

• Оптимизация обучений в контексте RL для повышения эффективности использования GPU.
• Построение схем коммуникаций с использованием YaFSDP и YCCL для моделей с сотнями миллиардов параметров.
• Низкоуровневые оптимизации с написанием кода на Triton и CUDA.

Что важно знать

Команда имеет значительный опыт в обучении языковых моделей, разработала фреймворки, которые существенно ускоряют процесс. Условия работы включают доступ к современному оборудованию и спортивным залам в офисах. Вы получите возможность влиять на производительность и эффективность обучения моделей в рамках одного из самых передовых проектов в области AI.