Middle Python-разработчик

Что за роль

В этой роли Python-разработчик будет заниматься проектированием, разработкой и оптимизацией ETL процессов для загрузки данных из различных источников. Основные задачи включают управление потоковой обработкой данных с использованием Apache Kafka, а также разработку и оптимизацию структур данных в PostgreSQL и ClickHouse.
Что предстоит делать:
• Проектирование и поддержка ETL процессов для загрузки данных
• Управление потоковой обработкой данных с использованием Apache Kafka
• Оптимизация структур данных и запросов в PostgreSQL
• Администрирование и настройка ClickHouse кластеров
• Интеграция данных между разными компонентами инфраструктуры
• Мониторинг производительности и безопасности data pipeline
• Автоматизация процессов обработки данных и развертывания (CI/CD)
• Взаимодействие с аналитиками и разработчиками для реализации потребностей в данных.

Что важно знать

Это позиция для опытного разработчика, который будет работать с большими объемами данных и обеспечивать надежность потоков данных. Важным аспектом является взаимодействие с командой для понимания и реализации потребностей в данных. Ожидается, что кандидат имеет опыт работы с DevOps-инструментами и понимание принципов построения ETL процессов.