Data Engineer (Data Analyst)

Описание роли

На позиции Data Engineer с функциями Data Analyst вы станете ключевым специалистом, ответственным за анализ существующих (Legacy) систем и разработку современного хранилища данных (DWH). Ваша задача — обеспечить прозрачность, историю изменений и восстановление информации, создавая оптимизированные модели данных и комплексные ETL/ELT-конвейеры для оперативной аналитики. Вы будете тесно взаимодействовать с бизнес-заказчиками и командой разработчиков, применяя лучшие практики Data Vault, DataOps и документируя архитектуру решений.

Основные обязанности:
• Анализ структуры и наполнения Legacy-баз MSSQL: выявление ключевых бизнес-сущностей и регламентных операций;
• Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище на базе Postgres и ClickHouse;
• Разработка и поддержка моделей данных и трансформаций в dbt для формирования аналитических витрин;
• Организация и автоматизация процессов оркестрации ETL-заданий с помощью Apache Airflow (настройка DAG, мониторинг);
• Обеспечение качества, тестирование данных и контроль их целостности при миграции и трансформации;
• Интеграция потоков событий в реальном времени через Kafka и обработка хранилищем S3;
• Документирование технических процессов и поддержание актуальности бизнес-метрик в моделях данных.

Особенности вакансии

• Работа в полностью удалённом формате через ИП с гибким графиком и возможностью влиять на архитектуру DWH;
• Проект на стыке Big Data и аналитики с использованием современных технологий: Python, SQL, Data Vault, dbt, Airflow, Kafka, ClickHouse;
• Участие в полной цепочке от сбора данных в легаси-системах до построения высокопроизводительных витрин;
• Возможность профессионального роста в области Data Engineering и аналитики с внедрением DataOps-практик.

О компании

Наш клиент — команда опытных аналитиков и инженеров данных, ориентированная на построение прозрачных и масштабируемых хранилищ для крупных проектов. Компания ценит инновационные подходы, развивается в направлении автоматизации процессов и обмена событиями в реальном времени. Работая с нами, вы получите доступ к сложным данным, сможете предложить и реализовать собственные решения, а также постоянно повышать квалификацию в области Big Data и DataOps.