Инженер по данным для Big Data

Что за роль

В команде маркетинга крупного банка РФ открыта вакансия инженера по данным, который будет заниматься разработкой продуктовых витрин для сквозной аналитики пользовательского пути. Роль включает в себя работу с большими объемами данных и проектирование аналитических систем.

Что предстоит делать

• Загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы)
• Проектирование и разработка аналитических витрин данных
• Проектирование и разработка коннекторов для ETL процессов
• Мониторинг и оптимизация процессов загрузки и преобразования данных
• Разработка и поддержка инфраструктуры для обработки больших объемов данных
• Создание инструментов для автоматизации рутинных задач

Что потребуется

• Продвинутые знания SQL (аналитические функции, подзапросы, хранимые процедуры)
• Опыт работы с технологиями Big Data (Hadoop, Spark, Hive/Impala)
• Знание концепций DWH
• Опыт работы с Python (PySpark, Pandas, NumPy)
• Знание инструментов для автоматизации (Airflow, Dagster, Oozie)
• Опыт работы с системами контроля версий (Bitbucket, Git)

Что важно знать

В этой роли важен опыт работы с аналитическими данными и понимание банковского бизнеса. Опыт работы по методологии Agile будет плюсом.