Backend Developer (Big Data Server)

Описание роли

На позиции Backend Developer (Big Data Server) вы получите уникальную возможность стать ключевым инженером в проекте по созданию высокомасштабируемого сервера для обработки и анализа больших текстовых массивов. Вы будете отвечать за проектирование архитектуры и реализацию компонентов, способных выдерживать интенсивные нагрузки и обрабатывать десятки тысяч запросов в секунду. Основная цель — обеспечить эффективную работу pipeline по загрузке, хранению, трансформации и анализу текстовых данных, а также интеграцию с LLM (Large Language Models) для генерации ответов на сложные запросы в режиме реального времени.

В рамках своих задач вы будете:
* Проектировать микросервисную архитектуру с учетом горизонтального масштабирования и отказоустойчивости;
* Настраивать системы хранения данных (NoSQL, распределенные файловые системы, object storage) и оптимизировать их производительность;
* Реализовывать ETL-процессы для подготовки данных к обучению и inference, обеспечивая качество и консистентность информации;
* Разрабатывать адаптеры и API для взаимодействия с LLM, обеспечивая низкую задержку и безопасность каналов передачи данных;
* Проводить нагрузочное тестирование и профилирование сервисов, анализировать метрики и устранять узкие места;
* Настраивать мониторинг, логирование и алертинг для контроля работоспособности системы;
* Участвовать в код-ревью, выстраивать процессы CI/CD, автоматизировать деплоймент с помощью Docker и Kubernetes.

Особенности вакансии

Это краткосрочный, но интенсивный проект, в котором вы получите полную свободу выбора технологий и архитектурных решений. Среди преимуществ:
* Работа с передовыми инструментами: Kafka, Elasticsearch, Prometheus, Grafana;
* Возможность протестировать различные модели LLM и оптимизировать их производительность на стороне сервера;
* Гибкий удаленный график — вы сами планируете время работы и сессии синхронизации с заказчиком;
* Четкое техническое задание и прозрачные критерии оценки готовности решений;
* Возможность расширить экспертизу в области Big Data и AI, получив опыт реального внедрения ML+LLM-компонентов;
* Доступ к внутренней документации и предыдущим наработкам по масштабированию высоконагруженных систем.

О компании

Компания — команда опытных разработчиков и ML-инженеров, фокусирующаяся на создании интеллектуальных решений для анализа данных. Миссия организации — превращать сырые данные в ценный бизнес-инструмент, повышая точность прогноза и качества обслуживания клиентов. Среди ключевых достижений:
* Реализация платформы анализа текстовых отзывов для крупного e-commerce игрока;
* Разработка решения по автоматизации документооборота на базе NLP-технологий;
* Успешное внедрение прототипов генерации уникальных ответов на запросы пользователей.

В корпоративной культуре ценятся открытость знаний, обмен опытом и стремление к инновациям. Компания регулярно участвует в профильных конференциях по Big Data и AI, поощряет публикацию статей и вклад в open-source. Проект предполагает тесное взаимодействие с экспертами по обработке естественного языка и DevOps-специалистами, что создает благоприятные условия для вашего профессионального роста и накопления уникального опыта.