Data Engineer

Описание роли

Data Engineer — это эксперт, который проектирует, разрабатывает и поддерживает надежные и масштабируемые ETL-пайплайны для обработки объемных данных партнеров и внутренних систем. Вы будете ключевым звеном команды, отвечать за автоматизацию процессов загрузки, трансформации и валидации данных, а также за оптимизацию производительности на уровне хранения и вычислений. В ежедневных задачах используются инструменты и технологии Data Engineer: Python, SQL, Airflow, DBT и Spark, что позволяет обеспечивать высокое качество и консистентность информации для аналитических и BI-систем.
Основные обязанности:
• Анализ и подготовка требований к источникам данных, взаимодействие с командами партнеров и внутренними стейкхолдерами;
• Проектирование архитектуры ETL-процессов с учетом масштабируемости, отказоустойчивости и требований к задержкам;
• Разработка, настройка и сопровождение DAG в Airflow, мониторинг выполнения задач;
• Оптимизация SQL-запросов и моделей данных с учетом производительности и затрат на вычисления;
• Создание и поддержка документации, реализация практик DataOps и CI/CD для пайплайнов;
• Обеспечение качества данных, реализация тестирования и валидации входящих и промежуточных наборов.

Уникальность вакансии

В рамках более 100 white-label развертываний ваша экспертиза Data Engineer будет напрямую влиять на персонализацию пользовательского опыта, инсайты и аналитику производительности. Проект предлагает сотрудничество с лидерами рынка, возможность самостоятельно выбирать инструменты и внедрять инновационные решения в области Big Data. Компания поощряет развитие компетенций через внутренние и внешние конференции, митапы и выделенный бюджет на обучение. Четкие карьерные траектории — от Middle до Senior и Lead Data Engineer — делают эту позицию особенно привлекательной.

О компании

Инновационная технологическая компания в сфере BigData разрабатывает white-label платформы для персонализации, аналитики и отчетности в сегментах e-commerce, финтех и медиа. Миссия организации — предоставить бизнесу прозрачные данные и инструменты для принятия решений в реальном времени. В команде царит атмосфера сотрудничества, открытости и поддержки профессионального роста. Корпоративный бюджет на сертификации, обучение и участие в профильных мероприятиях помогает постоянно повышать квалификацию и расширять экспертизу в области Data Engineer.
В завершение, если вы стремитесь развивать экспертизу в области Data Engineer, погружаться в проекты с большими объемами данных и работать с инструментами ETL, Airflow, DBT и Spark, эта вакансия станет отличным шагом в вашей карьере.

Партнёрское размещение. ERID 2W5zFHoQEpH Партнёрское размещение. ERID 2W5zFJWuthw