Data Engineer (Data LakeHouse)

Описание роли

На позиции Data Engineer (Data LakeHouse) вы станете важным членом команды UCMG, отвечая за проектирование, разработку и поддержку архитектуры Data LakeHouse. Ваша основная задача будет заключаться в создании и поддержании надежной инфраструктуры для хранения и обработки данных, что позволит компании принимать обоснованные решения на основе аналитики. Это включает в себя работу с современными инструментами и технологиями, позволяя вам углубиться в мир больших данных и ETL-процессов.

Ваши ключевые задачи:
• Сбор и развитие ядра Data LakeHouse: проектирование ETL процессов, создание витрин данных и факт-таблиц.
• Работа со стеком Trino, Spark и Iceberg для обработки и анализа больших объемов данных.
• Настройка дата-контрактов и мониторинг качества данных в хранилище.
• Проектирование архитектуры DLH, обеспечивающей высокую стабильность и производительность платформы.
• Мониторинг состояния платформы и оперативная реакция на инциденты.
• Поддержка и оптимизация процесса CI/CD, внедрение DevOps практик.

Уникальность вакансии

Работа в UCMG предоставляет уникальную возможность развивать свои навыки в области работы с большими данными и взаимодействия с современными инструментами. Вы получите опыт работы в передовой команде, которая активно внедряет новейшие технологии, такие как Trino и Spark. У нас вы сможете не только углубить свои технические навыки, но и внести значимый вклад в проекты, которые влияют на бизнес-решения. Мы ценим инициативу и открыты для внедрения новых идей, что создает дружелюбную и продуктивную атмосферу для работы.

О компании UCMG

UCMG — это динамично развивающаяся компания, работающая в области технологий и анализа данных. Наша основная цель — предоставление высококачественных решений для бизнеса, используя передовые методы обработки и анализа данных. Мы располагаем командой профессионалов, которые активно работают над проектами, связанными с обработкой больших данных, и стремятся к постоянному развитию и обучению. Мы гордимся своей репутацией надежного партнера для наших клиентов и стремимся к созданию инновационных решений, которые помогут им достигать успеха в их бизнесе.