СберСпасибо развивает AI-агентов для поиска по технической, нормативной и бухгалтерской документации. Senior AI/ML Engineer будет повышать качество RAG-систем, оценивать ответы агентов и настраивать защитные механизмы. В основе решения — готовые модели, подключаемые через корпоративный шлюз; обучение моделей не входит в задачи.

Что предстоит делать

• Развивать RAG полного цикла: настраивать чанкинг, эмбеддинги, переранжирование и поиск в векторных базах данных.
• Улучшать точность ответов и ссылок на источники, работать с метаданными и настройками retrieval.
• Оценивать качество LLM-систем с помощью эталонных наборов, offline-метрик, LLM-as-judge и регрессионных проверок.
• Проводить A/B-тесты промптов и моделей в production, анализировать результаты и вносить улучшения.
• Настраивать защиту от prompt injection и утечек персональных данных, проверять структуру и содержание ответов.
• Разрабатывать промпты и контекст для AI-агентов, применять structured output и function calling.
• Подключать инструменты через MCP или собственный tool-layer; использовать SQL и реляционные базы для работы с данными.

Что потребуется

• От двух лет коммерческой разработки на Python.
• Опыт внедрения хотя бы одного RAG-решения полного цикла в production.
• Практическое понимание эмбеддингов, чанкинга, переранжирования, векторных БД и точности ссылок на источники.
• Опыт оценки LLM-систем; знание Ragas, DeepEval или аналогичных инструментов.
• Опыт настройки защит LLM, prompt- и context engineering в реальных проектах.
• Практический опыт хотя бы с одним из инструментов: LangChain, LangGraph, PydanticAI, OpenAI API или аналогами; базовые знания SQL и реляционных БД.

Что важно знать

Это инженерная работа с production-системами: фокус на качестве поиска и ответов, измеримой оценке агентов и безопасности, а не на обучении моделей. В вакансии обозначены ключевые требования и технологические направления, но не указаны зарплата, формат работы и тип занятости.