Data Engineer / Data Analyst

Описание роли

На позиции Data Engineer с функциями Data Analyst вы будете отвечать за полный цикл работы с данными: от анализа и моделирования до построения и автоматизации ETL/ELT-конвейеров. Основная задача – провести аудит существующей легаси-БД MSSQL, выделить ключевые бизнес-сущности и зависимости, а затем перенести и трансформировать данные для нового хранилища с использованием современных методик и технологий. Ваша работа напрямую влияет на качество бизнес-отчетов и принятие решений топ-менеджментом.

Ваши ключевые обязанности:
* Анализ источников данных в легаси БД MSSQL: сбор информации о наполнении, выявление сущностей и регламентных операций.
* Проектирование DWH-модели с использованием методологии Data Vault и других современных подходов, документирование истории изменений и ключевых метрик.
* Оптимизация и написание сложных SQL-запросов для работы с большими объёмами данных.
* Разработка и поддержка ETL/ELT-конвейеров на Python с использованием Apache Airflow: настройка DAG, автоматизация, мониторинг и тестирование.
* Работа с объектным хранилищем Amazon S3 для управления и архивации «сырых» и промежуточных данных.
* Интеграция потоков через Kafka для передачи событий и обмена данными в режиме реального времени.
* Создание трансформаций и витрин данных в dbt, формирование готовых наборов для аналитиков и бизнес-пользователей.
* Внедрение методологий DataOps для контроля версий моделей, автоматического тестирования и безопасного развертывания в различных средах.
* Взаимодействие с бизнес-аналитиками и заинтересованными сторонами для согласования требований и построения корректных показателей.

Особенности вакансии

Выбирая эту позицию, вы получаете:
* Удалённый формат работы с возможностью гибкого планирования задач и распределения времени.
* Участие в крупном проекте миграции данных из устаревших систем в современное DWH-решение с высоким уровнем автоматизации.
* Полную автономию в принятии архитектурных решений и выборе инструментов.
* Доступ к передовому стеку технологий: Python, SQL, Postgres, ClickHouse, Kafka, Airflow, dbt.
* Шанс прокачать навыки работы с Data Vault, CI/CD для данных и передовыми практиками DataOps.
* Участие во внутренних митапах и обучающих сессиях по аналитике и data engineering, обмен опытом с экспертами индустрии.

О компании

Компания работает по модели сотрудничества через индивидуальное предпринимательство (ИП) и специализируется на консалтинге и внедрении решений для обработки больших данных в сегменте B2B. Миссия – обеспечить клиентов оперативной и достоверной аналитикой, чтобы они могли оперативно принимать обоснованные решения. Проекты отличаются масштабом и динамикой: вы сможете влиять на ключевые бизнес-процессы, а команда ценит системный подход, ответственность и желание развиваться. Сотрудники регулярно обмениваются знаниями на внутренних встречах и получают доступ к курсам и сертификациям.