Data Engineer по построению DWH
Что за роль
Data Engineer займётся проектированием хранилища данных и построением процессов загрузки и преобразования информации. В зоне ответственности — архитектура DWH, модели данных, распределение слоёв и создание витрин. Источники могут обрабатываться пакетно или в потоковом режиме.
Что предстоит делать
- Проектировать архитектуру DWH и определять структуру его слоёв.
- Разрабатывать модели данных с учётом задач хранения и дальнейшего использования информации.
- Создавать витрины данных для аналитических и других рабочих сценариев.
- Строить ETL/ELT-процессы для загрузки и трансформации данных из различных источников.
- Настраивать обработку данных в batch- и streaming-режимах.
- Использовать Python, PySpark, Apache Airflow и SQL для реализации и организации процессов обработки данных.
Что потребуется
- Опыт работы Data Engineer от 2 до 3 лет.
- Продвинутый уровень Python и практический опыт с PySpark.
- Опыт работы с Apache Airflow.
- Глубокое знание SQL.
- Понимание принципов построения DWH, моделирования данных и ETL/ELT.
Что важно знать
В описании обозначены основные технические задачи и инструменты, а также указан опыт, необходимый кандидату. Размер заработной платы обсуждается по результатам собеседования; другие условия найма не уточнены.
Подписка TalentMove
Больше,
чем вакансии
→ TalentScanAI
Узнайте стоимость вашего опыта на рынке
→ Закрытое сообщество
Нетворкинг и инсайды рынка труда
→ Топ вакансии
Лучшие вакансии с доставкой в Telegram