Senior Data Engineer для построения дата-платформы

Описание роли

На позиции Senior Data Engineer вы будете заниматься созданием дата-платформы с нуля, что требует высокой степени ответственности и архитектурного мышления. Ваша работа будет заключаться в построении лейкхауса, начиная от подключения источников данных и заканчивая созданием витрин. Вы станете ключевым участником команды, отвечающей за обработку и хранение данных для более чем 50,000 бизнесов в сфере услуг. Ваша основная миссия — обеспечить быстрый и надежный доступ к данным, которые будут использоваться для анализа и принятия решений.
Ваши ключевые задачи:
• Подключение OLTP/API для извлечения данных из различных источников.
• Настройка инкрементов в Iceberg на S3 для эффективного управления данными.
• Проведение Proof of Concept (PoC) с использованием CDC через Debezium и Kafka.
• Построение лейкхауса и запуск трансформаций данных от Bronze до Gold.
• Определение стратегии использования Trino для ad-hoc запросов и ClickHouse для BI.
• Настройка мониторинга свежести данных и автоматизация бэкфиллов в Airflow.
• Участие в выборе паттернов и инструментов для архитектуры системы.
• Разработка документации и поддержка команды в понимании архитектурных решений.

Уникальность вакансии

Работа в YCLIENTS предлагает уникальные возможности для профессионального роста и развития. Вы будете иметь архитектурную свободу в выборе инструментов и технологий, что позволит вам внедрять свои идеи и решения. В отличие от многих компаний, мы не мигрируем с легаси-систем, а строим новые решения с нуля, что дает возможность работать с самыми современными технологиями. Это также подразумевает высокую степень ответственности, так как данные, которые вы будете обрабатывать, необходимы для успешной работы множества бизнесов. Мы ориентируемся на скорость: первые витрины данных должны быть готовы в течение 6–8 недель, что создает динамичную и продуктивную атмосферу в команде.

О компании YCLIENTS

YCLIENTS — это ведущая B2B SaaS-компания, специализирующаяся на предоставлении решений для автоматизации бизнес-процессов в сфере услуг. Мы работаем с более чем 50,000 клиентами и стремимся к тому, чтобы каждый из них мог легко управлять своими данными и бизнесом. Наша команда состоит из высококвалифицированных специалистов, которые ценят инновации и стремятся к постоянному развитию. Мы придерживаемся открытых ценностей и поддерживаем культуру, способствующую обмену знаниями и опытом между сотрудниками. Наша миссия — создавать удобные и эффективные инструменты для бизнеса, которые помогают нашим клиентам добиваться успеха. Также мы активно развиваем корпоративную культуру, способствующую профессиональному и личностному росту сотрудников.