Middle Python-разработчик

Что за роль

Роль Python-разработчика в команде Мегафона предполагает проектирование и поддержку ETL процессов, а также управление потоковой обработкой данных с использованием Apache Kafka. Основные задачи включают оптимизацию структур данных и разработку решений на базе ClickHouse для аналитических запросов.

Что предстоит делать:
• Проектирование, разработка, оптимизация и поддержка ETL процессов для загрузки данных из различных источников
• Управление потоковой обработкой данных с использованием Apache Kafka
• Разработка и оптимизация структур данных, схем и запросов в PostgreSQL
• Построение, администрирование и настройка ClickHouse кластеров
• Интеграция данных между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры
• Мониторинг производительности и отказоустойчивости data pipeline
• Автоматизация процессов обработки данных и развертывания (CI/CD)

Что важно знать

Позиция требует глубоких знаний в области обработки данных и понимания принципов DevOps. Ожидается взаимодействие с аналитиками и разработчиками для реализации потребностей в данных. Эта роль предлагает возможность работать с высоконагруженными системами и сложными архитектурами.