Senior LLM Inference Backend Engineer

Что за роль

Senior LLM Inference Backend Engineer отвечает за проектирование и поддержку высоконагруженной инфраструктуры для AI-сервисов, включая оптимизацию производительности и интеграцию в корпоративные системы. Роль требует глубоких знаний в области LLM и разработки надежных API.

Что предстоит делать

• Проектирование и поддержка GPU-кластера инференса для десятков тысяч пользователей
• Оптимизация производительности через кэширование и батчинг
• Обеспечение SLA и предотвращение регрессий
• Разработка AI-сервисов, таких как AI Code Assistant и AI Chat
• Создание пайплайнов автоматизаций и интеграция AI-сервисов в корпоративную среду
• Проведение экспериментов и создание MVP для новых технологий

Что потребуется

• 5+ лет опыта разработки на Python с знанием асинхронности и паттернов проектирования
• Опыт создания высоконагруженных API с использованием FastAPI или аналогов
• Знания в области LLM и инструментов инференса, таких как vLLM и OpenAI API
• Опыт поддержки высоконагруженных сервисов в продакшене

Что важно знать

Роль требует экспертизы в высоконагруженных системах и LLM, с акцентом на надежность и производительность. Работа в команде с акцентом на инновации и исследование новых технологий.