Аналитик-разработчик для Алисы AI

Что за роль

Аналитик-разработчик будет работать в команде оценки достоверности ответов LLM-моделей для Алисы AI. Основные задачи включают сбор и валидацию эталонов, разработку агентов и работу с исполнителями-людьми для повышения качества разметки.

Что предстоит делать

• Собирать эталоны и узкие бенчи для оценки качества исполнителей и агентов
• Валидировать инструкции и вносить правки
• Размечать ответы для новых направлений
• Развивать существующего агента и собирать набор агентов для разметки
• Выстраивать пайплайны с LLM, готовить хинты и оценивать качество комментариев

Что потребуется

• Опыт работы с данными и их анализом
• Уверенное знание Python и алгоритмов
• Знание математической статистики и опыт проверки гипотез

Что важно знать

Вакансия предлагает возможность работать в гибридном формате и участвовать в профильных конференциях, где сотрудники могут развивать свои навыки выступления.