Инженер по качеству AI-агентов

Что за роль

Инженер по качеству AI-агентов анализирует, как агенты выполняют задачи, разбирает неудачные диалоги и исправляет причины ошибок в коде. Работа сочетает backend-разработку, тестирование и оценку LLM: важно не только обнаружить сбой, но и понять, почему модель не вызвала нужный инструмент или выбрала неверную последовательность действий. Приоритеты продукта обсуждаются напрямую с основателем.

Что предстоит делать

• Изучать диалоги AI-агентов и выявлять случаи, когда задача выполнена некорректно или не выполнена.
• Разбирать причины ошибок, включая пропущенный вызов инструмента и неправильный выбор последовательности действий.
• Вносить изменения в backend-код, отвечающий за выбор инструментов и выполнение задач.
• Писать автотесты и сравнивать качество агента до и после изменений.
• Работать с метриками качества и отслеживать динамику ошибок.
• Развивать систему автоматической оценки AI-агентов — AI-судью.
• Согласовывать приоритеты продуктовой работы напрямую с основателем.

Что потребуется

• Опыт разработки на TypeScript или Node.js и умение читать и изменять backend-код.
• Навыки работы с SQL и базами данных, анализа логов и статистики.
• Понимание LLM и AI-агентов, включая Tool Calling и выбор инструментов моделью.
• Опыт написания автотестов и проверки качества систем.
• Умение измерять эффект изменений с помощью метрик.
• Будет плюсом опыт с LLM-as-a-Judge или Evals, а также PostgreSQL и SQLite.

Что важно знать

Это техническая QA-позиция с непосредственной работой над поведением AI-агентов: анализ ошибок сочетается с изменениями кода и автоматизированной оценкой качества. В описании указаны полная занятость, график 5/2 с одним из двух временных интервалов по московскому времени и удалённый формат.