Data Engineer для Flink

Что за роль

Роль data engineer с фокусом на Apache Flink, где вы будете заниматься потоковой обработкой данных и оптимизацией ETL/ELT процессов. Основные задачи включают проектирование и реализацию решений на базе Flink, а также взаимодействие с различными системами для обеспечения эффективной обработки данных.

Что предстоит делать:
• Разработка и поддержка приложений на Apache Flink для потоковой обработки данных
• Оптимизация SQL-запросов и работа с оконными функциями
• Деплой Flink-кластеров в Kubernetes
• Интеграция с Apache Kafka для работы с потоками данных
• Анализ и оптимизация существующих ETL/ELT процессов
• Взаимодействие с DWH и SAP в качестве источников данных

Что важно знать

Эта роль предполагает активное участие в проектировании архитектуры потоковой обработки данных, что обеспечивает высокую степень влияния на конечные результаты. Удалённый формат работы позволяет гибко подходить к задачам и взаимодействовать с командой из разных локаций, что делает позицию привлекательной для профессионалов, стремящихся развивать свои навыки в передовых технологиях обработки данных.