Data Engineer для ETL-миграция

Что за роль

Вакансия Data Engineer (ETL-миграция) предполагает участие в миграции информационных систем с использованием Apache стека. Основная задача — перенос ETL-системы телеком-оператора с Oracle/Informatica на современные технологии, что требует глубоких знаний в SQL и опыте работы с высоконагруженными системами.

Что предстоит делать

• Миграция ETL-системы с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
• Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код
• Оптимизация SQL для витрин данных и ETL-процессов
• Разработка DAG-ов в Airflow и настройка пайплайнов в NiFi
• Разработка Spark-джобов (PySpark) для обработки больших объемов данных
• Настройка мониторинга ETL с использованием Grafana/Prometheus
• Разбор инцидентов по качеству данных и ошибкам загрузки

Что потребуется

• Опыт миграции ETL-систем, желательно с Oracle/Informatica
• Глубокие знания SQL: оконные функции, сложные джойны, иерархические запросы
• Опыт работы с PostgreSQL, Greenplum и/или Clickhouse
• Знания в проектировании архитектур на Apache Spark и Hadoop
• Опыт работы с биллинговыми системами, желательно в телеком-домене

Что важно знать

Роль требует уверенных навыков работы с ETL и оптимизации процессов обработки данных. Это возможность поработать с высоконагруженными системами и современными технологиями, что делает проект интересным и значимым.