Data Engineer для Databricks

Что за роль

В этой роли вы будете проектировать и внедрять пайплайны обработки данных, используя платформу Databricks. Основные задачи включают:
1) Проектирование и сопровождение пайплайнов обработки информации.
2) Исследование и очистка наборов данных.
3) Создание архитектуры разграничения доступа к данным.
4) Взаимодействие с командой для рецензирования схем доступа.
5) Обеспечение корректного запуска продуктов обработки данных.
6) Подготовка документации по контрактам на данные.
7) Мониторинг пайплайнов и проверка качества данных.
8) Изучение существующих решений для повторного использования компонентов.

Что важно знать

Роль требует глубоких знаний в области проектирования данных и облачных технологий. Вы будете активно взаимодействовать с командой для обеспечения качества и производительности решений, что делает эту позицию ключевой для компании.