Data Engineer по построению DWH

Что за роль

Data Engineer займётся проектированием хранилища данных и построением процессов загрузки и преобразования информации. В зоне ответственности — архитектура DWH, модели данных, распределение слоёв и создание витрин. Источники могут обрабатываться пакетно или в потоковом режиме.

Что предстоит делать

    • Проектировать архитектуру DWH и определять структуру его слоёв.
    • Разрабатывать модели данных с учётом задач хранения и дальнейшего использования информации.
    • Создавать витрины данных для аналитических и других рабочих сценариев.
    • Строить ETL/ELT-процессы для загрузки и трансформации данных из различных источников.
    • Настраивать обработку данных в batch- и streaming-режимах.
    • Использовать Python, PySpark, Apache Airflow и SQL для реализации и организации процессов обработки данных.

Что потребуется

    • Опыт работы Data Engineer от 2 до 3 лет.
    • Продвинутый уровень Python и практический опыт с PySpark.
    • Опыт работы с Apache Airflow.
    • Глубокое знание SQL.
    • Понимание принципов построения DWH, моделирования данных и ETL/ELT.

Что важно знать

В описании обозначены основные технические задачи и инструменты, а также указан опыт, необходимый кандидату. Размер заработной платы обсуждается по результатам собеседования; другие условия найма не уточнены.

Оценка вакансии
5.9 / 10
Задачи и ключевые требования описаны достаточно конкретно: указаны DWH, batch- и streaming-обработка, Python, PySpark, Airflow и SQL. Зарплата определяется на собеседовании, а формат работы и прочие условия не раскрыты.
Опубликовано:

Будьте в курсе новых вакансий

Подпишитесь на наш Telegram-канал

TalentMove стал Жабкой

Встречайте
TalentMove 2.0

Удобнее искать. Проще выбирать.

Открыть Жабку