Data Engineer по Python + Spark

Что за роль

В роли дата-инженера в Drinkit вы будете заниматься проектированием и реализацией ETL-процессов, а также оптимизацией работы с данными. Основное внимание уделяется построению надежных пайплайнов для обработки и анализа данных, что требует проактивного подхода к выявлению проблем и возможностей для улучшения.

Что предстоит делать

• Разработка и оптимизация ETL-процессов с использованием Databricks и Spark
• Работа с Azure для управления данными и их анализом
• Создание и поддержка инфраструктуры как кода (IaC) с использованием Terraform
• Взаимодействие с аналитиками для понимания их потребностей и требований к данным
• Участие в CI/CD процессах для автоматизации развертывания и тестирования

Что потребуется

• 4+ лет опыта в роли Data Engineer или ETL-разработчика
• Сильные навыки работы с SQL и Python
• Опыт работы с Spark или аналогичными инструментами
• Базовые знания Kafka и потоковой обработки данных
• Коммуникабельность и умение работать в команде

Что важно знать

Компания предлагает возможность удаленной работы из любой точки мира, а также гибкий график и поддержку сотрудников через ДМС и программы обучения. Здесь ценится проактивный подход и желание решать конкретные задачи.