Бэкенд-разработчик LLM-платформы

Что за роль

Команда развивает LLM Gateway — единую точку доступа к языковым моделям для продуктовых команд Авито. Платформа помогает управлять доступом и потреблением моделей, контролировать стоимость запросов и отслеживать их поведение в продакшене. Задачи охватывают backend-разработку, эксплуатацию критической инфраструктуры и интеграцию с платформой инференса.

Что предстоит делать

• Развивать LLM Gateway, чтобы продуктовые команды могли быстрее и удобнее создавать решения на базе LLM.
• Автоматизировать выдачу и настройку доступов к моделям.
• Развивать управление потреблением: рассчитывать стоимость LLM-вызовов, настраивать бюджетные лимиты для клиентов и приоритеты.
• Реализовывать динамическую балансировку трафика между языковыми моделями.
• Определять SLA платформы и методику его расчёта, настраивать мониторинг и алёрты, поддерживать требуемый уровень доступности.
• Интегрировать Gateway с платформой инференса, автоматизировать развёртывание моделей и предоставлять к ним доступ во внутренней инфраструктуре.
• Взаимодействовать с DS-инженерами, разбираться в работе LLM и оценивать новые технологии для внедрения.

Что потребуется

• Опыт программирования на Python или Go от пяти лет.
• Опыт технического лидерства в крупных направлениях с высокой неопределённостью: сбор требований, планирование, декомпозиция задач, ответственность за реализацию и отслеживание результатов.
• Опыт поддержки критической высоконагруженной инфраструктуры, настройки мониторинга и алёртов; готовность участвовать в дежурствах 24/7.
• Практический опыт MLOps или LLMOps, включая развёртывание и поддержку инфраструктуры для автоматизации работы с ML- и LLM-моделями.
• Понимание основ работы LLM: различий между prefill и decode, назначения KV-cache и значения TTFT.
• Умение работать с неопределённостью и выстраивать взаимодействие между командами.

Что будет преимуществом

• Опыт работы с LLM API и LLM Gateway, например LiteLLM.
• Создание внутренних платформенных решений и административных интерфейсов.
• Работа с инструментами мониторинга LLM, например Langfuse или Opik.
• Опыт с Kubernetes, GPU и хранилищами данных, такими как ClickHouse и Trino.

Что важно знать

Это платформенная backend-позиция на стыке инфраструктуры и LLM-продуктов: важны надёжность сервисов, контроль затрат и управляемое подключение моделей. В описании также указаны расширенная медицинская страховка, страхование жизни и онкострахование, психологическая поддержка и консультации для сотрудника и близких, корпоративный спорт, партнёрские скидки и компенсация питания.