Middle Data Engineer для Databricks

Что за роль

Роль Middle Data Engineer сосредоточена на обеспечении качества данных и автоматизации процессов проверки данных. Кандидат будет работать с Databricks и SQL для создания и поддержания автоматизированных проверок качества данных.

Что предстоит делать:
• Анализировать данные для выявления взаимосвязей и проблем с качеством.
• Использовать Databricks и SQL Server для тестирования и валидации данных.
• Применять инструменты для проверки данных, такие как Collibra или Great Expectations.
• Разрабатывать автоматизированные проверки качества данных с использованием Python и SQL.
• Профилировать данные и выявлять аномалии в наборах данных.
• Читая код других разработчиков, отслеживать проблемы с данными в пайплайнах.
• Участвовать в автоматизации тестирования и отслеживании метрик качества данных.

Почему вакансия может быть интересна

Работа предполагает участие в реальных проектах в области инженерии данных с возможностями для роста и развития. Команда дружелюбная, а формат полностью удаленный, что позволяет работать из любого места. Это отличная возможность для тех, кто хочет развивать свои навыки в области качества данных и автоматизации.