Data Engineer Flink

Что за роль

Роль Data Engineer Flink подразумевает участие в проекте по переводу ключевых процессов обработки данных с классического SQL на потоковую обработку в Apache Flink. Вы будете заниматься заменой SAP на кастомную реализацию, переводом существующих SQL-логик и ETL-процессов, а также поддержкой потоковых пайплайнов на Java с использованием Flink.

Что предстоит делать:
• Участвовать в замене SAP на кастомную реализацию с использованием Apache Flink
• Переводить существующие SQL-логики и ETL-процессы в потоковую обработку на Flink
• Поддерживать потоковые пайплайны на Java + Flink
• Интегрировать с системами-источниками и приемниками данных через Kafka
• Участвовать в проектировании архитектуры нового решения
• Работать в команде с аналитиками и инженерами данных

Что важно знать

Кандидат должен иметь опыт работы с Apache Flink на реальных проектах, уверенное знание Java и хорошие знания SQL. Также приветствуется опыт работы с Apache Kafka и Kubernetes. Роль предполагает активное взаимодействие с командой и участие в проектировании новых решений для обработки данных.