Middle Data Engineer по Databricks + PySpark

Что за роль

Вакансия для Middle Data Engineer, фокусирующегося на построении и поддержке Databricks Lakehouse с использованием медаллонной архитектуры. Кандидат будет работать над интеграцией данных из различных источников, оптимизацией производительности и обеспечением качества данных для веб-приложений и ML моделей.

Что предстоит делать

• Создавать и поддерживать Databricks Lakehouse на основе медаллонной архитектуры
• Интегрировать данные из Oracle и API в бронзовый уровень
• Моделировать серебряный уровень с использованием Data Vault и золотой уровень с помощью размерной модели
• Оптимизировать производительность Spark и структуру таблиц Delta
• Реализовать управление доступом и маскирование PII в Unity Catalog
• Заменить ручные процессы планирования и электронные таблицы на единую платформу данных
• Сотрудничать с командой приложений, которая строит на основе золотого уровня для веб-приложений и ML моделей

Что важно знать

Предлагается работа в команде, занимающейся созданием платформы для обработки и анализа данных. Ожидается, что кандидат будет активно участвовать в оптимизации процессов и обеспечении качества данных.