Middle Data Engineer для Databricks

Что за роль

Вакансия Middle Data Engineer (Databricks) подразумевает работу с автоматизированными проверками качества данных. Основная задача заключается в построении и поддержке процессов, которые обеспечивают высокое качество данных при помощи инструментов Databricks и SQL.

Что предстоит делать:
• Анализировать данные и выявлять взаимосвязи для обеспечения их качества
• Использовать Databricks и SQL Server для тестирования и валидации данных
• Применять инструменты для валидации данных, такие как Collibra или Great Expectations
• Разрабатывать автоматизированные проверки качества данных с использованием Python и SQL
• Проводить профилирование данных и обнаружение аномалий для выявления проблем в наборах данных
• Читать и анализировать код других разработчиков для отслеживания проблем с данными в пайплайнах
• Заниматься автоматизацией тестирования, документацией и отслеживанием метрик качества данных

Почему вакансия может быть интересна

Эта роль предлагает возможность работать над реальными проектами в области инженерии данных с акцентом на качество. Полностью удаленная работа позволяет гибко организовать свое время, а дружелюбная команда способствует комфортной атмосфере. Также предусмотрены возможности для карьерного роста, что делает эту позицию привлекательной для профессионалов, стремящихся развиваться в данной области.