Data Engineer для AWS

Что за роль

Роль инженера данных в CLERA предполагает самостоятельное управление полным циклом AWS-пайплайнов и доставку готовых наборов данных. Основное внимание уделяется построению data-infrastructure для крупного предприятия, включая обработку данных из мейнфреймов и legacy-систем.

Что предстоит делать

• Стримить и обрабатывать данные, загружая их в AWS S3.
• Проектировать и реализовывать ETL/ELT-флоу с помощью AWS Glue.
• Проводить сверки данных и проверки качества.
• Кураторство и трансформация данных, поставка чистых датасетов в AWS Aurora/RDS.
• Управлять хранением в S3, включая архивирование и lifecycle-правила.
• Автоматизировать обработки и деплой через GitHub и GitHub Actions CI/CD.

Что потребуется

• 5+ лет опыта в Data Engineering с реализацией пайплайнов и ETL/ELT.
• Практический опыт AWS Glue в продакшене.
• Уверенные знания AWS (S3, RDS/Aurora, Glue).
• Опыт построения стриминг-пайплайнов с Kafka.
• Опыт реализации проверок качества данных.
• Владение GitHub и GitHub Actions для автоматизации CI/CD.

Что важно знать

Зарплата составляет $65 в час на W2, с полной удалённой занятостью. Роль требует высокой ответственности и самостоятельности в управлении данными.