Senior AI/ML Engineer

Что за роль

Ваша задача как Senior AI/ML Engineer будет заключаться в повышении качества RAG-агентов, работающих в нескольких направлениях, включая поиск по технической документации и нормативной базе. Вы будете заниматься промпт-инжинирингом, подготовкой эталонных наборов оценки качества и настройкой защит для production-агентов, а также A/B-тестированием моделей для оптимизации их работы.

Что предстоит делать:

• Повышение качества RAG-агентов на трёх направлениях: поиск по документации, нормативной базе и бухгалтерии;
• Промпт-инжиниринг и контекст-инжиниринг;
• Подготовка эталонных наборов оценки качества;
• Реализация LLM-as-a-judge;
• Настройка защит для production-агентов;
• A/B-тестирование промптов и моделей;
• Тюнинг качества по сигналам обратной связи пользователей.

Что важно знать

Роль требует глубоких знаний в области RAG-систем и LLM, а также практического опыта работы с фреймворками оценки и защитами для LLM-приложений. Вы будете работать в команде, где ценится качество и скорость разработки, и ваша работа будет иметь прямое влияние на конечный продукт.