Data Engineer для ETL

Что за роль

Работа подразумевает разработку и поддержку ETL-процедур, проектирование распределённых систем обработки данных и развитие архитектуры хранилища. Важно обеспечить надёжность и эффективность аналитической инфраструктуры.

Что предстоит делать

• Разрабатывать и поддерживать ETL процедуры в Airflow
• Проектировать, реализовывать и внедрять распределённые системы обработки и хранения данных
• Участвовать в развитии архитектуры хранилища
• Работать с реляционными и NoSQL базами данных
• Разрабатывать и поддерживать процедуры автоматизации аналитической инфраструктуры

Что потребуется

• Уверенное знание SQL
• Уверенное знание Python
• Опыт разработки ETL процедур от 3-х лет
• Опыт работы с реляционными СУБД
• Навыки командной разработки в Git
• Будет плюсом: современные code-driven ETL/ELT инструменты, распределённые колоночные СУБД (ClickHouse, Vertica, Greenplum), Docker, Kubernetes, S3 хранилище, CI/CD процедуры

Что важно знать

Работа в команде над масштабируемыми решениями для обработки данных, что требует высокой квалификации и уверенности в использовании современных технологий.