Data Engineer по репликации данных

Что за роль

IBS ищет Data Engineer для построения и поддержки пайплайнов репликации данных. Основной фокус — CDC и стриминг с использованием Kafka и Redshift: важно переносить данные без простоя, настраивать источники и целевые хранилища, контролировать производительность процессов.

Что предстоит делать

• Настраивать репликацию данных и CDC-процессы с помощью Qlik Replicate или Talend.
• Подключать источники SQL- и NoSQL-данных и настраивать передачу в целевые хранилища.
• Развивать пайплайны потоковой передачи данных с использованием Kafka и Redshift.
• Контролировать производительность репликации и находить причины замедления или сбоев.
• Планировать переносы данных так, чтобы выполнять их без простоя систем.
• Участвовать в моделировании данных, включая проектирование схемы «звезда», и сопровождать ETL-процессы полного цикла.

Что потребуется

• Высшее образование и не менее трёх лет опыта в data engineering.
• Практический опыт работы с Qlik Replicate или Talend.
• Знание SQL и опыт программирования на Java или Python.
• Понимание моделирования данных, в том числе схемы «звезда».
• Опыт сопровождения ETL-процессов полного цикла.

Что важно знать

Работа связана с переносом и репликацией данных из разных источников, поэтому важны надёжность пайплайнов и внимательное отношение к производительности. Указаны удалённый формат, возможные редкие командировки в ОАЭ, оформление по ТК РФ и ДМС после испытательного срока. Уровень зарплаты в описании не раскрыт.