Middle Data Engineer — Snowflake, dbt и Azure

Что за роль

Ищут Middle Data Engineer для создания и поддержки production-пайплайнов данных. Основной стек — Snowflake, SQL, dbt и Azure; задачи охватывают регулярную загрузку данных из операционных систем, файловых хранилищ и API, а также сопровождение моделей и устранение сбоев.

Что предстоит делать

• Настраивать почасовую загрузку данных из SQL Server и систем OLTP, работающих круглосуточно.
• Организовывать поступление файлов из сетевых хранилищ клиентов и данных из API в Azure Blob Storage.
• Создавать и поддерживать модели dbt в Snowflake, включая общие макросы, pre- и post-hooks и обработку SCD Type 2.
• Использовать возможности Snowflake: streams, Time Travel, data sharing, стандартные, transient, hybrid и Iceberg tables.
• Разбирать сбои production-процессов, в том числе изменения схем, ошибки hooks, отсутствующие файлы и задачи, завершившиеся не полностью.
• Поддерживать качество кода через Git, pull requests, code review и автоматизированное тестирование.

Что потребуется

• От двух лет опыта в data engineering.
• Продвинутый SQL и практический опыт работы со Snowflake; на интервью предусмотрено live coding в Snowflake.
• Опыт с dbt, включая макросы, hooks и SCD Type 2.
• Опыт работы с Azure Data Factory или Azure Synapse Pipelines, в том числе с self-hosted integration runtimes.
• Знание Python и PySpark, опыт командной работы с Git и ревью кода.

Что важно знать

Дополнительным преимуществом будет опыт с Azure Function Apps, Logic Apps, Microsoft Defender для проверки входящих файлов, Databricks или Airflow. Предусмотрен бонус, зависящий от результатов, и возможность профессионального развития. Отбор включает онлайн coding assessment, техническое интервью и финальный разговор с менеджером; интервью записываются, использовать AI-инструменты и постороннюю помощь нельзя.