Data Engineer по PySpark + AWS

Описание роли

На позиции Data Engineer вы будете играть ключевую роль в разработке и поддержке высокопроизводительных и масштабируемых данных. Ваши навыки в PySpark и AWS будут критически важны для создания эффективных потоков данных как в пакетном, так и в стриминговом режимах. Вы будете работать над архитектурой данных, что позволит улучшить производительность и доступность данных, а также их интеграцию в бизнес-процессы компании.

Ваши ключевые задачи:
• Архитектура и разработка потоков данных, включая пакетные и стриминговые решения с использованием PySpark и AWS Glue.
• Реализация Change Data Capture (CDC) с помощью AWS DMS для захвата инкрементальных обновлений из исходных систем.
• Проектирование модульных, переиспользуемых и масштабируемых моделей данных, соответствующих лучшим практикам.
• Управление ETL/ELT процессами, включая очистку и агрегацию данных, а также мониторинг производительности и устранение узких мест.
• Разработка дашбордов в QuickSight или аналогичных BI инструментах для предоставления актуальных инсайтов заинтересованным сторонам.
• Сотрудничество с командами для обеспечения согласованности определений данных и соблюдения норм с помощью таких инструментов, как Glue Catalog.

Уникальность вакансии

Работа в Hibachi предлагает уникальную возможность стать частью команды, работающей с передовыми технологиями в области обработки данных. Вы получите доступ к проектам, которые определяют будущее в сфере хранения и анализа данных, используя современные инструменты, такие как PySpark и AWS. Компания стремится к внедрению инноваций и поддерживает развитие своих сотрудников через обучение и доступ к последним технологиям. Вы будете работать в гибкой среде, где ценится как технический, так и личный рост, что позволяет вам оказывать влияние на ключевые бизнес-процессы.

О компании Hibachi

Hibachi — это международная компания, специализирующаяся на разработке решений в области обработки и анализа данных. Мы активно внедряем передовые технологии и инструменты, чтобы помочь нашим клиентам эффективно использовать свои данные для достижения бизнес-целей. У нас работают более 200 талантливых специалистов, и мы обслуживаем клиентов по всему миру. Наша миссия — облегчить доступ к данным и сделать их использование интуитивно понятным. Мы ценим командный дух, инновации и стремление к постоянному обучению в нашей корпоративной культуре.

Партнёрское размещение. ERID 2W5zFHoQEpH Партнёрское размещение. ERID 2W5zFJWuthw