ML Engineer для языковых моделей

Что за роль

Вакансия ML Engineer фокусируется на обучении языковых моделей с нуля, работающих в диапазоне от 1B до 10B параметров. Основные задачи включают разработку программного обеспечения и понимание сложных русскоязычных текстов. Важным аспектом является работа над проектами под NDA, что подразумевает высокий уровень ответственности и конфиденциальности.

Что предстоит делать

• Подготавливать данные и выстраивать пайплайны обучения
• Проводить эксперименты с архитектурами, методами и режимами обучения
• Обучать модели с нуля и адаптировать их под целевые задачи
• Оценивать качество моделей, анализировать ошибки и улучшать результаты

Что потребуется

• Практический опыт обучения языковых моделей: от подготовки данных до оценки результата
• Опыт аналогичных проектов либо адаптации готовых моделей методами, выходящими за рамки SFT
• Уверенное владение Python и PyTorch
• Понимание принципов обучения трансформеров и опыт работы с GPU
• Будет плюсом: опыт распределённого обучения, оптимизации памяти и скорости обучения

Что важно знать

Роль требует глубокого понимания работы языковых моделей и готовности к экспериментам с их архитектурой. Ожидается активное участие в разработке и адаптации моделей, что делает позицию интересной для профессионалов в области AI.