Data Engineer по Middle/Senior

Что за роль

Работа в роли Data Engineer на уровне Middle/Senior включает развитие и поддержку хранилища данных на ClickHouse, проектирование и оптимизацию витрин данных, а также разработку ETL/ELT-процессов. Кандидаты должны иметь опыт работы с различными системами управления данными и быть готовы к оптимизации производительности запросов.

Что предстоит делать

• Развивать и поддерживать хранилище данных на ClickHouse
• Проектировать и оптимизировать витрины данных
• Разрабатывать и сопровождать ETL/ELT-процессы на Python и Apache Airflow
• Проектировать и внедрять CDC-процессы для потоковой загрузки данных из MySQL и MongoDB в ClickHouse
• Оптимизировать производительность запросов и архитектуру хранения данных
• Обеспечивать качество данных, проводить сверки источников и анализировать причины ошибок
• Поддерживать инфраструктуру ETL-процессов и контролировать стабильность их работы
• Работать с Git/GitLab и участвовать в code review

Что потребуется

• Коммерческий опыт работы Data Engineer от 3 лет
• Отличное знание SQL и опыт написания сложных оптимизированных запросов
• Уверенный опыт работы с ClickHouse
• Практический опыт работы с MySQL и MongoDB
• Опыт разработки ETL/ELT-процессов и работы с Apache Airflow
• Понимание принципов CDC и опыт построения соответствующих процессов

Что важно знать

Роль требует глубокого понимания работы с данными и их качества, а также навыков разработки на Python. Кандидаты должны быть готовы к оптимизации запросов и поддержанию документации в Confluence.