Senior Data Engineer (Python + Spark)

Описание роли

На позиции Senior Data Engineer вы будете ключевым игроком в создании и поддержке высококачественных ingestion и CDC пайплайнов, которые обеспечивают надежную обработку данных для аналитических нужд компании. Ваша основная задача будет заключаться в разработке и оптимизации batch-пайплайнов с использованием современных технологий, таких как Spark и Flink. Вы будете работать в команде профессионалов, обеспечивая высокое качество и доступность данных для различных бизнес-приложений. Стремление к надежности и производительности станет основой вашего подхода к работе.

Ваши ключевые задачи:
• Разработка и поддержка ingestion и CDC пайплайнов до production-качества.
• Создание и оптимизация batch-пайплайнов на Spark/Flink/Trino.
• Реализация трансформаций в dbt: staging, intermediate и marts, инкрементальные модели, тестирование и документация.
• Оптимизация запросов и витрин данных под Trino для повышения производительности.
• Проработка модели данных и контрактов с продуктами для обеспечения соответствия бизнес-требованиям.
• Внедрение практик обеспечения качества, каталогизации и управления доступом к данным.
• Участие в эксплуатации систем: настройка алертов, мониторинг метрик, SLO/SLA, разбор инцидентов и создание runbooks.

Уникальность вакансии

Работа в этой роли предлагает вам уникальную возможность погрузиться в передовые технологии обработки данных и стать частью команды, которая стремится к высоким стандартам качества и надежности. Вы будете иметь возможность влиять на архитектуру и процессы работы с данными, получая опыт работы с новейшими инструментами и методологиями. Компания поддерживает развитие сотрудников, предлагая возможности для обучения и профессионального роста. Позиция полностью удаленная, что предоставляет гибкость в организации рабочего времени и места.

О компании

Компания, в которой открыта данная вакансия, является ведущим игроком в области обработки и анализа данных. Она обеспечивает надежные решения для бизнеса, позволяя клиентам принимать обоснованные решения на основе данных. С течением времени компания добилась значительных успехов, расширив свою клиентскую базу до более чем 300 компаний по всему миру. Миссия компании заключается в том, чтобы предоставлять клиентам инструменты и технологии, которые помогут им эффективно управлять данными и получать от них максимальную выгоду. Команда компании состоит из высококвалифицированных специалистов, которые готовы делиться своими знаниями и опытом.