Senior Data Engineer

Что за роль

Роль Senior Data Engineer в международном маркетплейсе подарков Флаувау предполагает создание и поддержку высоконагруженных систем обработки данных. Вы будете отвечать за проектирование и эксплуатацию data-архитектуры, включая lakehouse и MPP решения.

Что предстоит делать:
• Разрабатывать и оптимизировать API для обработки данных на Python.
• Работать с lakehouse архитектурой, включая Apache Iceberg и другие технологии.
• Оптимизировать запросы и производительность с помощью Trino или аналогичных MPP систем.
• Настраивать и управлять процессами в Airflow, включая создание собственных операторов.
• Проводить анализ и оптимизацию SQL-запросов, включая оконные функции и планы исполнения.
• Участвовать в CI/CD процессах с использованием Git.

Что важно знать

Вы будете работать в команде, где важна ответственность за эксплуатацию систем под реальной нагрузкой. Позиция предлагает возможность влиять на архитектуру и производительность data-систем, что делает её привлекательной для опытных специалистов в области data engineering. Ожидается высокий уровень самостоятельности и экспертизы в современных инструментах обработки данных.

Партнёрское размещение. ERID 2W5zFHoQEpH Партнёрское размещение. ERID 2W5zFJWuthw