Руководитель аналитики приёмки моделей

Что за роль

Роль сосредоточена на управлении процессом приёмки моделей для Alice AI, активно работающей над улучшением качества LLM-технологий. Вы будете отвечать за запуск оценок новых версий моделей, анализ результатов и развитие системы метрик для оценки их качества.

Что предстоит делать

• Полное ведение приёмки новых версий моделей: запуск оценок и подготовка заключений о качестве
• Развитие системы метрик для определения реального качества моделей, включая расчёт статистической значимости
• Управление оценочными наборами и инструментами приёмки, включая создание автоматических оценщиков
• Сбор и управление командой аналитиков, распределение задач и наставничество

Что важно знать

Компания предлагает комплексный подход к предотвращению выгорания, включая медицинские чекапы и доступ к психотерапии. Это создаёт комфортные условия для работы и развития в команде, сосредоточенной на высоких технологиях.