Senior Data Engineer

Что за роль

Senior Data Engineer в компании Flowwow отвечает за развитие ядра платформы и проектирование API для других инженеров. Роль требует глубоких знаний в data engineering и backend-разработке с акцентом на работу с lakehouse-архитектурой и интеграцией различных источников данных.

Что предстоит делать

• Развивать ядро платформы: проектирование фреймворка Data Vault и интеграция с Airflow
• Писать библиотеки и фреймворки на Python для тестирования пайплайнов и работы с источниками данных
• Работать с lakehouse: оптимизация таблиц, тюнинг Trino и Spark-джобов
• Строить интеграции с OLTP-базами, REST/gRPC API, Kafka и SaaS-системами
• Внедрять AI в процессы разработки и анализа данных
• Участвовать в архитектурных решениях и делать code review

Что потребуется

• Промышленный опыт от 5 лет в data engineering или backend-разработке
• Глубокие знания Python и опыт проектирования API
• Практика с lakehouse-стеком, включая Apache Iceberg
• Опыт работы с Trino или другим MPP-движком
• Уверенные навыки работы с Apache Airflow и Apache Spark
• Продвинутый уровень SQL, включая оконные функции и оптимизацию запросов

Что важно знать

Роль предлагает возможность работать с передовыми технологиями в области data engineering и AI. Ожидается высокая степень ответственности за эксплуатацию production-систем и активное участие в архитектурных решениях.