Backend Engineer для AI-шлюза оптимизации расходов

Что за роль

Нужен опытный backend-инженер для создания готового к пилоту MVP AI-шлюза, который помогает компаниям в Великобритании снижать расходы на использование моделей и защищать персональные данные. Шлюз на базе LiteLLM будет размещаться между приложениями клиентов и провайдерами OpenAI, Anthropic и Google. Работа организована по фиксированной цене и этапам с оплатой после прохождения приёмочных тестов; код с первого дня размещается в GitHub компании.

Что предстоит делать

• Реализовать единый шлюз на LiteLLM с Python-хуками и сервисами на TypeScript/NestJS для маршрутизации запросов к провайдерам моделей.
• Добавить отдельные ключи и бюджеты для клиентов, учёт расходов, журнал экономии с базовым сценарием в shadow mode и ежемесячный отчёт.
• Настроить маскирование персональных данных с Presidio и детекторами для британских данных: NI, NHS с проверкой контрольной суммы и почтовых индексов.
• Реализовать точное и семантическое кэширование с изоляцией данных по клиентам, повторные попытки и переключение на резервные модели.
• Добавить базовую маршрутизацию batch API, диагностику попаданий в кэш, оповещения о резких скачках расходов и журнал аудита.
• Подготовить дашборды на Next.js, тесты и техническую документацию; использовать PostgreSQL, Redis и Docker.
• Развернуть решение в AWS London с использованием двух зон доступности и предоставлять еженедельные отчёты о ходе работ.

Что потребуется

• Опыт backend-разработки и создания шлюза или прокси; опыт разработки чат-бота сам по себе не заменяет такой опыт.
• Практический опыт с LiteLLM, Presidio и AWS.
• Навыки разработки API, работы с Python и TypeScript, а также понимание Docker, Redis и Next.js.
• Готовность указать цену по этапам, еженедельную доступность и дату начала.

Что важно знать

Целевой срок подготовки MVP к пилоту — середина декабря. Будет полезно знакомство с UK GDPR, batch API провайдеров и prompt caching. Перед получением полного описания от shortlisted-кандидатов потребуется подписать краткое NDA; одному или двум финалистам могут предложить небольшое оплачиваемое испытание по британским PII-детекторам. Для отклика нужно описать релевантный проект шлюза или прокси и опыт работы с указанным стеком.