Data Engineer

Что за роль

В этой роли Data Engineer вы будете отвечать за построение и оптимизацию data-пайплайнов для крупнейшей девелоперской компании Центральной Азии. Основные задачи включают:
• Проектирование и реализация эффективных data-пайплайнов с использованием ClickHouse и других технологий.
• Настройка шардирования и репликации для обеспечения высокой доступности данных.
• Оптимизация сложных SQL-запросов для повышения производительности.
• Настройка CDC-коннекторов с использованием Debezium и Kafka для работы с реляционными и NoSQL-источниками.
• Разработка и поддержка DAG’ов в Apache Airflow, включая создание кастомных операторов и хуков.
• Построение моделей данных и тестов с использованием DBT, а также ведение документации.

Что важно знать

Компания BI Group предлагает стабильную работу в офисе в Астане и возможность развиваться в команде профессионалов. Здесь вы будете работать с современными инструментами и технологиями, что позволит вам углубить свои знания в области Data Engineering и оптимизации больших данных.