Highload Stable Diffusion Inference Engineer

Описание роли

В рамках позиции Highload Stable Diffusion Inference Engineer вы будете отвечать за масштабирование и оптимизацию сервиса генерации изображений на базе Stable Diffusion. Ваша задача — обеспечить поддержку производительности свыше 200 запросов в минуту (RPM) в контейнерной среде Docker с использованием RunPod. Вы будете проектировать и внедрять архитектуру распределённого инференса, управлять несколькими GPU, предотвращать ошибки CUDA OOM и балансировать нагрузку между нодами.

Уникальность вакансии

Вакансия привлекает возможностью работать с одним из самых актуальных направлений generative AI — highload инференсом Stable Diffusion. Вы получите свободу выбора инструментов для контейнеризации и оркестрации, гибкий график и возможность удалённой работы из любой точки мира. Кроме того, здесь вы столкнётесь с реальными вызовами распределённого ML-инференса, что позволит повысить свою экспертизу в оптимизации GPU-памяти и автоматизации развёртываний.

О компании

Компания представляет собой команду энтузиастов в области искусственного интеллекта и генеративных моделей. Мы фокусируемся на создании продуктов для креативных индустрий и поддержки разработчиков, позволяя миллионам пользователей генерировать качественные изображения по текстовым запросам. В основе корпоративной культуры — коллаборация, инновации и постоянное совершенствование технологий.

Обязанности

• Масштабирование Docker-сервисов инференса Stable Diffusion с RunPod.
• Балансировка нагрузки и управление кластером GPU.
• Анализ и устранение ошибок CUDA OOM.
• Оптимизация использования GPU-памяти и пропускной способности.
• Настройка CI/CD для моделей и автоматизация развёртывания новых чекпоинтов.

Требования

• Опыт в highload ML-инференсе, предпочтительно с SD.
• Знание CUDA, GPU-памяти и способов предотвращения OOM.
• Уверенная работа с Docker и распределёнными системами инференса.
• Понимание принципов балансировки нагрузки и контейнеризации.
• Навыки мониторинга и отладки производительности.

Условия

• Полностью удалённая работа.
• Оплата сдельная по договорённости.
• Гибкий график без привязки к офису.
• Возможность участия в стратегических решениях по архитектуре.