Инженер по защите LLM-агентов

Что за роль

Нужен специалист, который укрепит проверку ответов действующего LLM-агента. Бизнес-правила уже заданы в коде и настройках инструментов, однако после генерации модель всё ещё может выдать ответ, нарушающий политику, или выполнить недопустимое действие. Главная задача — разобраться в текущем коде и цепочке вызовов модели, а затем доработать защитный слой перед выдачей результата.

Что предстоит делать

• Изучить существующую реализацию агента, вызовы инструментов и способ применения бизнес-правил.
• Переработать или усилить проверку итогового ответа, чтобы выявлять нарушения правил и блокировать либо исправлять недопустимый результат.
• Выбрать поддерживаемый подход к валидации: собственную реализацию на Python, библиотеку Guardrails или валидатор на LangChain либо LlamaIndex.
• Добавить модульные и интеграционные тесты, подтверждающие блокировку или исправление запрещённых ответов.
• Подготовить краткое техническое описание изменений, чтобы команда могла развивать защитный слой дальше.

Что потребуется

• Навыки разработки на Python; также указаны JavaScript и PHP.
• Опыт работы с LLM и построением AI-workflow, в частности с LangChain.
• Понимание структурированной валидации вывода, например с помощью Pydantic или OpenAI function calling.
• Знакомство с инструментами контроля политик, включая Guardrails.ai, будет полезно.
• Умение проектировать тесты и поддерживаемые компоненты программной архитектуры.

Что важно знать

Это проектная задача по укреплению уже работающего агента, а не разработка всей системы с нуля. Для проверки работодатель готов предоставить ключ для staging-среды и примеры входных данных; результатом должны стать изменения в коде, тесты и техническое резюме.