Data Scientist в команде LLM Core

Что за роль

Вакансия Data Scientist в команде LLM Core Авито подразумевает работу над созданием и развитием собственных базовых языковых моделей. Основная задача заключается в проверке гипотез в области претрейна, оптимизации инференса и разработке продакшен-кода.

Что предстоит делать

• Создание и развитие языковых моделей Авито
• Проверка гипотез в области претрейна и continual pre-training
• Оптимизация инференса, включая квантование и speculative decoding
• Построение процедур оценки качества моделей
• Написание продакшен-кода на Python и PyTorch

Что потребуется

• 3+ года опыта разработки и эксплуатации ML-решений
• Глубокое понимание Transformer и принципов обучения LLM
• Практический опыт обучения и внедрения NLP-моделей
• Уверенное владение Python и PyTorch
• Понимание компромиссов между качеством, latency и стоимостью
• Плюсом будет опыт с continual pre-training, SFT/LoRA/RL, DeepSpeed, vLLM, TensorRT-LLM, MLOps-инструментами

Что важно знать

Роль требует высокой квалификации в области машинного обучения и глубоких знаний в NLP. Важна способность работать с большими объемами данных и оптимизировать процессы обучения моделей.