ML Engineer для LLM

Что за роль

Ищется ML-инженер с опытом работы с LLM, который способен самостоятельно обучать и адаптировать модели. Важно понимание полного цикла от данных до развертывания.

Что предстоит делать

• Разработка и улучшение пайплайна LLM post-training: SFT, preference optimization, Offline / Online RL
• Улучшение instruction following и построение системы benchmarking / evaluation
• Обучение LoRA / QLoRA-адаптеров под различные домены и задачи
• Работа с reward models / verifiers и reward functions для RL
• Разработка RAG-систем: retrieval, reranking, context construction и evaluation
• Оптимизация inference и serving моделей с использованием vLLM / SGLang

Что потребуется

• Практический опыт fine-tuning / post-training LLM
• Опыт с SFT и preference optimization: DPO / IPO / ORPO / SimPO или аналогами
• Опыт или хорошее практическое понимание Online RL для LLM: GRPO / GSPO или аналогичных методов
• Уверенное владение Python, PyTorch, Hugging Face Transformers
• Опыт с TRL и/или verl
• Опыт с LoRA / QLoRA / PEFT

Что важно знать

Это позиция для тех, кто хочет углубиться в мир LLM и работать с передовыми технологиями. Здесь важна способность самостоятельно ставить эксперименты и анализировать результаты. Будет плюсом опыт с Continual / domain pre-training и Reasoning RL.