DevOps Hadoop Engineer

Описание роли

В роли DevOps Hadoop Engineer вы станете ключевым специалистом по построению и поддержке платформы Data Lake, на которой базируются все data-driven процессы банка. Вы отвечаете за развёртывание масштабируемых Hadoop-кластеров на выделенной инфраструктуре, настройку надёжной репликации и обеспечение отказоустойчивости в сценариях Prod ↔️ DR. В числе ваших задач будет автоматизация CI/CD-конвейеров, внедрение мониторинга для компонентов HDFS, YARN, Hive, Spark, Kerberos и Ranger, а также тесная работа с командами data-инженеров, аналитиков и разработчиков ML-решений.
Ваши основные обязанности:
• Развёртывание и настройка Hadoop-дистрибутива на серверах и в DR-средах;
• Поддержка стабильности и производительности кластера, оперативное устранение инцидентов;
• Настройка репликации данных между площадками для обеспечения надёжного восстановления;
• Автоматизация процессов администрирования при помощи Python и Bash;
• Конфигурирование систем мониторинга (Prometheus, Grafana, Zabbix, ELK) и оповещений;
• Проведение PoC новых open-source инструментов для оптимизации инфраструктуры;
• Настройка и сопровождение CI/CD-пайплайнов для выпуска обновлений компонентов.

Что делает эту вакансию особенной

Вы получите уникальную возможность:
• Работать в быстрорастущем FinTech-банке над ядром платформы Data Lake, влияющей на стратегию обработки больших данных;
• Полностью удалённый формат с гибким графиком, который легко сочетать с любым местоположением по РФ;
• Внедрять современные DevOps-практики и Open Source разработки в масштабном корпоративном окружении;
• Непрерывно развиваться: участвовать в экспериментах с новыми технологиями и получать поддержку для профессионального роста;
• Взаимодействовать с кросс-функциональными командами, влияя на процессы загрузки «сырых» данных и запуск ML-моделей.

О компании Ekleft

Ekleft — инновационный игрок в сфере FinTech, специализирующийся на создании надёжной инфраструктуры для анализа больших данных и автоматизации банковских процессов. Миссия компании — строить прозрачные и безопасные платформы, позволяющие бизнесам оперативно принимать решения на основе качественных данных. Ekleft ценит экспертизу, инициативность и готовность к экспериментам: команда работает по Agile-методологиям, регулярно участвует в отраслевых конференциях и внедряет передовые разработки в области Big Data.