Data Engineer для ценообразования

Что за роль

Роль Data Engineer сосредоточена на проектировании и разработке пайплайнов загрузки данных для команды ценообразования. Основное внимание уделяется оптимизации процессов обработки данных и обеспечению их качества. Это важная позиция, так как работа включает взаимодействие с продуктовыми командами и аналитиками для понимания требований к данным и их интеграции.

Что предстоит делать

• Проектировать и разрабатывать пайплайны загрузки данных, оптимизируя их в зависимости от потребностей команд потребителей
• Проектировать загрузку данных и раскладку по слоям в ClickHouse, включая выбор движка таблиц и ключей сортировки
• Оптимизировать запросы и хранение данных, выявляя и устраняя проблемы с производительностью
• Разрабатывать и поддерживать DAGи в Airflow, обеспечивая их идемпотентность и корректное выполнение задач
• Обеспечивать качество данных через проверки полноты и консистентности, а также мониторинг пайплайнов
• Работать с продуктовыми командами для разбора требований и предложений по контрактам данных

Что потребуется

• Опыт работы с ClickHouse, включая идентификацию проблем на кластере и оптимизацию пайплайнов
• Уверенные знания SQL и опыт работы с большими объемами данных
• Навыки программирования на Python для разработки пайплайнов
• Опыт работы с Apache Airflow и понимание его принципов
• Знания Apache Kafka и опыт построения загрузки из Kafka в хранилище
• Опыт интеграции данных из REST API и реляционных БД

Что важно знать

В этой роли важна способность работать с большими объемами данных и оптимизировать процессы. Позиция предлагает возможность взаимодействовать с различными командами, что делает её интересной и динамичной.