Senior Data Engineer будет развивать инженерную часть хранилища данных и потоков обработки на Azure. В работе сочетаются Python и PySpark, SQL, DWH и инструменты Azure для загрузки, преобразования и хранения данных. Проект международный; английский используется как рабочий язык.

Что предстоит делать

• Разрабатывать и поддерживать ETL/ELT-процессы для загрузки и преобразования данных.
• Работать с Azure Synapse Analytics, Synapse Pipelines и Azure Data Factory при построении и сопровождении конвейеров данных.
• Использовать Python и PySpark для обработки данных, а SQL и T-SQL — для запросов и преобразований.
• Работать с DWH, Azure Data Lake Storage, Delta Lake, SQL Server и Azure SQL Database.
• Поддерживать надежность и корректность потоков данных, разбирать ошибки загрузки и преобразования.
• Взаимодействовать с международными коллегами на английском языке по техническим задачам проекта.

Что потребуется

• Не менее пяти лет общего опыта в Data Engineering.
• От двух до трех лет практической работы с Azure.
• Опыт работы с Azure data stack, включая Azure Synapse Analytics и Azure Data Lake Storage.
• Знание Python или PySpark, уверенный SQL; опыт с MS SQL/T-SQL будет полезен.
• Практический опыт построения DWH и ETL/ELT-процессов.
• Опыт международных проектов, где английский был рабочим языком; английский — B2, русский — C2.

Что важно знать

В технологическом контуре также указаны Power BI и Azure SQL Database. Вакансия подойдет инженеру, который уже работал с облачным стеком Azure и может самостоятельно вести задачи по обработке и перемещению данных в хранилище.