Data Engineer для Корпоративного хранилища

Что за роль

Data Engineer отвечает за стабильную и безопасную работу Data Platform, используя Trino, Spark, S3 и Apache Iceberg. Важная задача — оптимизация производительности и администрирование кластеров, а также управление ролевыми моделями доступа.

Что предстоит делать

• Обеспечивать стабильную работу Data Platform на базе Trino, Spark, S3 и Apache Iceberg
• Настраивать, обновлять и мониторить кластера Trino
• Оптимизировать производительность запросов и Iceberg
• Разрабатывать централизованные ролевые модели для доступа к данным
• Документировать изменения в проекте

Что потребуется

• Опыт работы с Apache Iceberg и его администрированием
• Понимание взаимодействия Spark с Iceberg и S3
• Навыки в Linux, Bash и Python для автоматизации
• Опыт управления политиками доступа через Ranger
• Опыт администрирования Greenplum или ClickHouse

Что важно знать

Роль подразумевает активное участие в оптимизации и администрировании платформы, что требует глубокого понимания технологий и процессов обработки данных.