Аналитик-разработчик в LLM

Что за роль

Аналитик-разработчик в LLM будет заниматься улучшением офлайн-метрики ранжирования и сбором бенчмарка для оценки качества поиска. Роль требует глубоких знаний математики и опыта в аналитике, а также способности выстраивать стабильные процессы.

Что предстоит делать

• Исследовать и оцифровывать проблемы в метрике и итоговом ранжировании
• Разрабатывать способы исправления проблем в метрике
• Собирать бенчмарк для оценки качества поиска
• Поддерживать аналитические модели в оценке качества поиска
• Участвовать в приёмке новых ML-моделей ранжирования и сборе запросов для оценки качества
• Создавать дашборды мониторинга качества

Что важно знать

Роль требует навыков руководства или менторства в аналитике, а также способности к выстраиванию прозрачных рабочих процессов. Это возможность работать над важными продуктами и аналитическими задачами в команде, занимающейся офлайн-оценкой качества поиска.