ML Ops Engineer

Описание роли

ML Ops Engineer отвечает за контейнеризацию и развертывание многоагентных LLM-экземпляров, гарантируя их совместимость с трубопроводами LangGraph. Оптимизирует обслуживание моделей для приложений с низкой задержкой и высокой пропускной способностью, эффективно используя ресурсы GPU/TPU. Внедряет масштабируемые стратегии развертывания моделей для одновременных многоагентных задач.

Мониторинг и логирование

Устанавливает сквозной мониторинг платформы AI, отслеживая состояние системы, задержку и частоту отказов. Мониторит специфические для LLM метрики, такие как задержка токенов, потребление памяти и точность ответа на запрос. Разрабатывает механизмы обнаружения дрейфа для входных и выходных данных моделей для обеспечения устойчивой производительности.

Автоматизация конвейера

Автоматизирует рабочие процессы обучения, оценки и развертывания для трубопроводов, поддерживаемых LangGraph. Создает и поддерживает конвейеры CI/CD для интеграции многоагентных фреймворков с бэкенд-сервисами. Автоматизирует механизмы версионирования и отката для LLM, обеспечивая бесшовные обновления.

Управление инфраструктурой

Сотрудничает с DevOps-командами для масштабирования кластеров Kubernetes для цепочек LangGraph и API с большой нагрузкой на WebSocket. Оптимизирует распределение ресурсов для совместных нагрузок на GPU/TPU среди агентов. Внедряет стратегии кэширования для часто используемых LLM-запросов и инструментов общего назначения.

Сотрудничество и документация

Документирует рабочие процессы многоагентной системы, интеграцию LangChain и использование API для внутренних и внешних заинтересованных сторон. Сотрудничает с инженерами бэкенда для согласования конечных точек модели с требованиями приложений и командами QA для решения проблем развертывания. Предоставляет рекомендации по расширению инструментов и цепочек LangGraph с помощью пользовательских реализаций агентов.