Senior Data Engineer для ETL-миграция

Что за роль

Senior Data Engineer фокусируется на миграции ETL-системы телеком-оператора с Oracle/Informatica на современный Apache стек. Позиция требует глубоких знаний SQL и опыт работы с высоконагруженными системами.

Что предстоит делать

• Миграция ETL-системы с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
• Перенос бизнес-логики из Informatica в SQL-код
• Оптимизация SQL для витрин данных и ETL-процессов
• Разработка DAG-ов в Airflow и настройка пайплайнов в NiFi
• Разработка Spark-джобов (PySpark) для обработки больших объемов данных
• Интеграция с Kafka для потоковой передачи данных
• Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик
• Разбор инцидентов по качеству данных и ошибкам загрузки
• Code review

Что потребуется

• Опыт миграции ETL-систем, желательно с Oracle/Informatica на Apache стек
• Глубокие знания SQL и оптимизация для highload
• Знания Oracle (PL/SQL) и PostgreSQL
• Опыт проектирования архитектур на Apache Spark (PySpark), NiFi, Airflow
• Мониторинг ETL с использованием Grafana/Prometheus
• Опыт работы с биллинговыми системами, желательно в телеком-домене

Что важно знать

Роль предлагает возможность работы с передовыми технологиями в области обработки данных и высоконагруженными системами. Здесь ценятся навыки оптимизации и проектирования архитектуры, а также опыт работы с потоковой обработкой данных.