Data Engineer / Data Analyst
Описание роли
Позиция Data Engineer с функциями Data Analyst предполагает работу над модернизацией существующих легаси-хранилищ и построением новых аналитических конвейеров на базе современных подходов. Основная задача – анализ структуры данных в MSSQL, сбор бизнес-требований и выявление ключевых сущностей, после чего разработка оптимального DWH с применением методологии Data Vault и других проверенных паттернов. Вы будете создавать сложные SQL-запросы для аналитических витрин, проектировать высокопроизводительные модели данных и документировать архитектуру с учётом истории изменений и восстановления данных.
Основные обязанности
• Анализ легаси-источников на MSSQL: сбор метаданных, выявление взаимосвязей, регламентных операций.
• Проектирование и оптимизация ETL/ELT-конвейеров с использованием Python, dbt и SQL.
• Настройка и автоматизация DAG в Apache Airflow: мониторинг, алерты, управление зависимостями.
• Интеграция и обработка стриминговых данных через Kafka для построения real-time архитектуры.
• Работа с облачным объектным хранилищем S3, настройка резервного копирования и восстановления.
• Разработка аналитических витрин в ClickHouse, настройка индексов и партиционирования.
• Поддержание документации, участие в ревью архитектуры и код-ревью.
Особенности вакансии
• Удалённый формат работы без привязки к офису, гибкий график и свободное планирование задач.
• Влияние на стратегию хранения и обработки данных в масштабном проекте.
• Использование передовых методологий Data Vault и DataOps: контроль версий моделей, тестирование и безопасное развертывание.
• Работа в небольшом профессиональном коллективе с возможностью быстрого принятия решений.
О компании
ИП в IT-сфере специализируется на проектах в сегменте AI и big data для российских клиентов и международных партнёров. Компания ценит прозрачность процессов, ответственность и стремление к инновациям. Здесь поощряют инициативу при выборе инструментов и методов: каждый инженер может предложить улучшение архитектуры или провести оптимизацию процессов.
