Data Engineer / Technical Lead

Что за роль

Data Engineer / Technical Lead с опытом от 5 лет, который будет отвечать за миграцию ETL-процессов с Informatica PowerCenter на открытый стек, включая NiFi и Airflow. Роль предполагает активное участие в проектировании и разработке ETL/ELT-процессов, а также написание и оптимизацию SQL-кода для высоконагруженных систем.

Что предстоит делать

• Миграция ETL-процессов на NiFi, Airflow и Greenplum
• Подготовка документации AS IS и TO BE
• Написание и оптимизация SQL-кода
• Отслеживание метрик и контроль качества данных
• Разработка ETL-скриптов на Python с использованием pandas
• Участие в проектировании и отладке DAG’ов в Apache Airflow
• Проектирование интеграций Apache-стека с Kafka и BI-системами

Что потребуется

• Опыт разработки ETL/ELT-процессов с акцентом на СУБД
• Знание SQL/PLSQL и опыт работы с хранимыми процедурами
• Опыт работы с NiFi и Airflow
• Знание архитектурных подходов к проектированию хранилищ
• Опыт работы с PostgreSQL, Greenplum и Clickhouse
• Опыт работы с Grafana/Prometheus для мониторинга ETL-процессов

Что важно знать

Роль требует глубоких технических знаний и опыта в ETL-процессах, а также умения управлять командой (если есть опыт TeamLead). Это отличная возможность для тех, кто хочет работать с современными инструментами в высоконагруженной среде.