Middle Data Engineer
Что за роль
Itransition ищет Middle Data Engineer для разработки и поддержки процессов загрузки и преобразования данных. В работе сочетаются Python, SQL, Snowflake и инструменты оркестрации: важно не только строить пайплайны, но и разбираться с качеством данных и проблемами в production-системах.
Что предстоит делать
- Разрабатывать и поддерживать ETL/ELT-процессы и конвейеры обработки данных с использованием Python и соответствующих инструментов.
- Получать данные из REST API и GraphQL, выполнять преобразования и организовывать загрузку и выгрузку.
- Настраивать оркестрацию пайплайнов, используя Airflow, Astronomer, DBT Cloud или другие подходящие решения.
- Запрашивать и преобразовывать большие объёмы данных с помощью SQL и работать со Snowflake.
- Проверять качество и корректность данных, проводить анализ первопричин проблем в работающих production-системах.
- Обрабатывать сериализованные форматы JSON, AVRO, XML и CSV, а также сжатые и закодированные файлы.
- При необходимости участвовать в проектировании пайплайнов на облачной архитектуре, CI/CD-развёртываниях и работе с Git.
Что потребуется
- От двух лет опыта работы с Python и уверенное владение библиотеками и инструментами для обработки данных, включая pandas и Google Cloud SDK.
- От двух лет практики с ETL/ELT, инструментами вроде DBT и интеграциями через REST API или GraphQL.
- Практический опыт работы со Snowflake и SQL; в описании также указаны SQL Server, Oracle, MySQL и BigQuery.
- Умение разбираться в сбоях production-систем и анализировать причины проблем с данными.
- Опыт работы с перечисленными форматами данных и понимание загрузки, преобразования и выгрузки файлов.
- Английский язык, достаточный для работы в международной среде. Опыт облачной архитектуры, CI/CD и Git будет преимуществом.
Что важно знать
В вакансии обозначены как основные направления работы, так и конкретный набор технологий для data engineering: Python, SQL, Snowflake и оркестрация пайплайнов. Отдельный акцент сделан на диагностике production-проблем и проверке качества данных. Зарплата и место работы в описании не уточняются.
Подписка TalentMove
Больше,
чем вакансии
→ TalentScanAI
Узнайте стоимость вашего опыта на рынке
→ Закрытое сообщество
Нетворкинг и инсайды рынка труда
→ Топ вакансии
Лучшие вакансии с доставкой в Telegram