Middle Data Engineer

Что за роль

Itransition ищет Middle Data Engineer для разработки и поддержки процессов загрузки и преобразования данных. В работе сочетаются Python, SQL, Snowflake и инструменты оркестрации: важно не только строить пайплайны, но и разбираться с качеством данных и проблемами в production-системах.

Что предстоит делать

  • Разрабатывать и поддерживать ETL/ELT-процессы и конвейеры обработки данных с использованием Python и соответствующих инструментов.
  • Получать данные из REST API и GraphQL, выполнять преобразования и организовывать загрузку и выгрузку.
  • Настраивать оркестрацию пайплайнов, используя Airflow, Astronomer, DBT Cloud или другие подходящие решения.
  • Запрашивать и преобразовывать большие объёмы данных с помощью SQL и работать со Snowflake.
  • Проверять качество и корректность данных, проводить анализ первопричин проблем в работающих production-системах.
  • Обрабатывать сериализованные форматы JSON, AVRO, XML и CSV, а также сжатые и закодированные файлы.
  • При необходимости участвовать в проектировании пайплайнов на облачной архитектуре, CI/CD-развёртываниях и работе с Git.

Что потребуется

  • От двух лет опыта работы с Python и уверенное владение библиотеками и инструментами для обработки данных, включая pandas и Google Cloud SDK.
  • От двух лет практики с ETL/ELT, инструментами вроде DBT и интеграциями через REST API или GraphQL.
  • Практический опыт работы со Snowflake и SQL; в описании также указаны SQL Server, Oracle, MySQL и BigQuery.
  • Умение разбираться в сбоях production-систем и анализировать причины проблем с данными.
  • Опыт работы с перечисленными форматами данных и понимание загрузки, преобразования и выгрузки файлов.
  • Английский язык, достаточный для работы в международной среде. Опыт облачной архитектуры, CI/CD и Git будет преимуществом.

Что важно знать

В вакансии обозначены как основные направления работы, так и конкретный набор технологий для data engineering: Python, SQL, Snowflake и оркестрация пайплайнов. Отдельный акцент сделан на диагностике production-проблем и проверке качества данных. Зарплата и место работы в описании не уточняются.

Оценка вакансии
6.7 / 10
В описании перечислены конкретные технологии, требования к опыту и направления работы с пайплайнами и качеством данных. Зарплата и географические условия не раскрыты; график указан, но деталей о задачах и проектном контексте немного.
Опубликовано:

Будьте в курсе новых вакансий

Подпишитесь на наш Telegram-канал

TalentMove стал Жабкой

Встречайте
TalentMove 2.0

Удобнее искать. Проще выбирать.

Открыть Жабку