QA Engineer по ML/LLM

Что за роль

Вакансия QA Engineer (ML/LLM) в компании «Цифровые привычки» предполагает работу над проектами для Сбера. Вы будете отвечать за тестирование ML/LLM-систем, включая автоматизацию тестов и анализ качества ответов LLM-агентов.
Что предстоит делать:

• Выстроить систему оценки качества ответов LLM-агентов: метрики, критерии, процесс.
• Развивать тестовые корзины для регрессионного тестирования: эталонные вопросы, ожидаемые SQL-запросы и ответы.
• Автоматизировать прогон тестов и оценку по бинарным критериям.
• Проводить сравнительное тестирование моделей и версий промптов.
• Тестировать релизы перед выводом в пром.
• Анализировать инциденты качества в проме.

Что важно знать

Работа предполагает гибридный формат: первые три месяца офис, затем возможность удаленной работы. Успешный кандидат должен иметь опыт QA от 3 лет, уверенные навыки работы с SQL и Python, а также понимание специфики LLM. Это интересная возможность для профессионалов, желающих развивать свои навыки в области ML и LLM.