Data Engineer (Lakehouse/Data Platform)

Описание роли

На позиции Data Engineer вы будете неотъемлемой частью команды, занимающейся разработкой и поддержкой современного Lakehouse/Data Platform, что позволит обрабатывать данные для миллионов пользователей. Ваша работа будет сосредоточена на создании и оптимизации пайплайнов данных, что обеспечит высокое качество данных и их доступность для аналитики. Вы будете работать с передовыми технологиями и инструментами, чтобы гарантировать эффективность обработки данных и их интеграцию в бизнес-процессы компании.
В ежедневные обязанности войдут:
— Разработка ingestion/CDC пайплайнов с использованием Debezium и Flink, доведение их до production-качества с учетом дедупликации и мониторинга.
— Создание batch-пайплайнов на Spark, работа с таблицами в Iceberg и поддержка schema evolution.
— Оптимизация запросов и витрин в Trino, включая партиционирование и статистику для повышения производительности.
— Проработка модели данных и взаимодействие с продуктами для обеспечения согласованности данных.
— Встраивание качества данных через DataHub и правила OPA для контроля доступа к данным.
— Участие в эксплуатации систем: мониторинг, алерты, SLO/SLA, разбор инцидентов.

Уникальность вакансии

Работа в этой роли предоставляет уникальную возможность участвовать в создании высоконагруженной Data Platform, которая будет обслуживать миллионы пользователей. Вы станете частью команды, которая активно использует современные подходы к обработке и анализу данных, и получите шанс развивать собственные навыки и экспертизу. Компания предлагает гибкий график работы и возможность удаленной работы из любой точки Узбекистана, что позволяет вам самостоятельно организовывать свое время и повышать продуктивность.

О компании

Компания, с которой мы сотрудничаем, активно работает в сфере разработки решений для обработки данных и аналитики. Мы фокусируемся на создании передовых платформ, которые позволяют клиентам эффективно управлять данными и получать ценную аналитику. У нас есть опыт работы с крупными проектами, где мы реализуем решения, способные обрабатывать большие объемы данных и предоставлять высококачественные результаты для клиентов разных секторов.