Data Integration Engineer по поддержке репликации данных

Что за роль

Data Integration Engineer отвечает за поддержку трактов репликации данных: от выяснения источника и характера поступающих данных до разбора сбоев и внедрения корректировок. Работа связана с обращениями клиентов и взаимодействием с ядровыми командами, которые помогают доводить исправления до продакшена. Проект посвящён управлению загрузкой данных для Сбербанка.

Что предстоит делать

• Разбираться, какие системы выступают источниками данных и как устроено их поступление.
• Настраивать модули репликации и проверять корректность прохождения данных по тракту.
• Анализировать инциденты репликации, читать логи и выявлять первопричины сбоев.
• Внедрять корректирующие меры, чтобы предотвращать повторение инцидентов.
• Формулировать задачи для ядровых команд, сопровождать исправления и контролировать их выход в продакшен.
• Обрабатывать обращения клиентов и помогать разбирать проблемы с загрузкой данных.

Что потребуется

• Понимание различий между DWH и Data Lake.
• Базовое понимание назначения HDFS, Kafka, Hive и HBase.
• Уверенная работа в Linux: навигация по системе, чтение файлов и использование базовых команд.
• Опыт работы с Git или BitBucket, включая ветки, merge и разрешение конфликтов.
• Знание SQL на уровне JOIN, GROUP BY и вложенных запросов.
• Навыки написания простых Bash-скриптов и поиска причин сбоев по логам.

Что важно знать

В вакансии указаны зарплатный диапазон, гибридный формат, ДМС и ИТ-аккредитация компании. Также заявлены возможность внутреннего роста и поддержка ядровых команд. Опыт работы и конкретные требования к его продолжительности не обозначены.