Senior Data Engineer для ETL Migration

Что за роль

Senior Data Engineer отвечает за миграцию ETL-процессов с Informatica PowerCenter на современные инструменты, такие как NiFi и Airflow. Эта роль требует глубоких знаний в области ETL/ELT и управления данными, а также способности к оптимизации процессов в highload-среде.

Что предстоит делать

• Мигрировать ETL-процессы с Informatica PowerCenter на NiFi и Airflow
• Разрабатывать ETL/ELT-процессы и хранимые процедуры
• Писать и оптимизировать SQL-код для highload-среды
• Разрабатывать и отлаживать DAG в Apache Airflow
• Готовить документацию AS IS и TO BE
• Отслеживать метрики и контролировать качество данных после миграции

Что потребуется

• Опыт Team Lead и управления командой от 4 лет
• Глубокое знание NiFi, Airflow, SQL/PLSQL и ETL/ELT
• Опыт с Python, pandas, PySpark и интеграциями API
• Опыт миграции с Informatica PowerCenter на Airflow и Greenplum
• Знание Hadoop, Hive, Kafka, Oracle, PostgreSQL, Greenplum и ClickHouse
• Опыт с качеством данных, потоковой обработкой и Grafana/Prometheus

Что важно знать

Эта позиция предлагает возможность работать с высоконагруженными системами и участвовать в развитии ETL-инфраструктуры. Удалённая работа и конкурентная зарплата делают её привлекательной для специалистов в области обработки данных.