ML-инженер по Online RL и Post-Training LLM

Что за роль

Команда, развивающая GigaChat, ищет ML-инженера для направления online reinforcement learning и post-training больших языковых моделей. Основная задача — превращать исследовательские идеи в работающие решения: проектировать эксперименты, проводить обучение и оценивать результаты на LLM. В стеке указаны Python, PyTorch, RLHF, Online RL, DPO и распределённое обучение.

Что предстоит делать

• Проектировать и запускать эксперименты по Online RL и post-training LLM.
• Реализовывать и проверять подходы к обучению моделей с использованием RLHF и DPO.
• Разрабатывать и поддерживать код экспериментальных решений на Python и PyTorch.
• Организовывать распределённое обучение, включая Data Parallel, и разбирать возникающие технические ограничения.
• Анализировать результаты запусков, сопоставлять их с гипотезами и использовать выводы для дальнейшей настройки экспериментов.
• Доводить перспективные исследовательские идеи до воспроизводимых рабочих решений для post-training языковых моделей.

Что потребуется

• Практический опыт работы с Python и PyTorch.
• Знание методов post-training больших языковых моделей и подходов RLHF, Online RL или DPO.
• Понимание принципов распределённого обучения и Data Parallel.
• Умение проектировать эксперименты, анализировать результаты и переносить исследовательские разработки в код.

Что важно знать

Вакансия сосредоточена на стыке исследований и инженерной реализации: недостаточно предложить метод — важно проверить его экспериментально и довести до работающего решения. В описании обозначены направление и ключевые технологии, но не приведены требования к стажу, подробности занятости или условия найма.