Middle Data Engineer

Что за роль

Data Engineer будет развивать инфраструктуру для загрузки, обработки и предоставления данных продуктов холдинга. Базовые контуры на Hadoop и Greenplum уже подготовлены: данные нескольких продуктов описаны и загружены, работа с новыми источниками продолжается. В фокусе — развитие ETL-процессов и витрин, качество данных и масштабирование платформы.

Что предстоит делать

• Разрабатывать и дорабатывать ETL-процессы в Airflow, поддерживать загрузку и обработку данных.
• Подключать новые источники и расширять набор данных, доступных в инфраструктуре.
• Создавать и развивать витрины данных для продуктов холдинга.
• Оптимизировать SQL-запросы в Greenplum и PostgreSQL, анализируя планы выполнения.
• Работать с большими объёмами данных и развивать устойчивые процессы их обработки.
• Совершенствовать контроль качества, сбор, хранение и поставку данных.
• Участвовать в развитии потокового получения данных, Reverse ETL, Data Catalog и Data Lineage.

Что потребуется

• От года опыта работы с данными и практический опыт построения ETL-процессов в Airflow.
• Уверенное знание SQL: JOIN, оконные функции, процедуры; умение профилировать запросы, читать планы выполнения и оптимизировать их.
• Понимание реляционных баз данных и архитектуры DWH, включая ODS, DDS и DM.
• Опыт работы с большими данными объёмом более 100 GB и DataHub.
• Базовые знания Python, Linux и командной строки, опыт работы с Git и понимание принципов Docker.
• Самостоятельность, инициативность и стремление выстраивать качественные процессы работы с данными.

Что важно знать

Инфраструктура уже используется для данных нескольких продуктов холдинга, а дальнейшие направления развития включают потоковую загрузку, подключение источников, каталогизацию и отслеживание происхождения данных. Это сочетание практической работы с SQL и Airflow и участия в расширении общей платформы данных.