Data Engineer по Python + Spark

Что за роль

Роль Data Engineer в компании X5 Tech включает разработку и оптимизацию end-to-end пайплайнов для обработки данных. Вы будете собирать данные из различных источников, таких как онлайн и оффлайн-продажи, ERP и внешние API, очищать и трансформировать их для моделей машинного обучения. Качество пайплайнов критично для точности прогнозов и управленческих решений в закупках и логистике.

Что предстоит делать:
• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
• Настраивать хранение и доступность данных в DWH
• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
• Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

Что важно знать

Работа в команде с акцентом на качество данных и их доступность. Ожидается, что вы будете активно взаимодействовать с Data Science-командой для обеспечения эффективной работы моделей машинного обучения. Стек технологий включает PySpark, Airflow и Docker, что позволяет работать с большими объемами данных и автоматизировать процессы.