Инженер данных по Python

Что за роль

Инженер данных отвечает за реализацию высоконагруженных конвейеров обработки данных и подготовку данных для аналитических хранилищ. Роль требует глубоких знаний Python и SQL, а также опыта работы с инструментами обработки данных и API.

Что предстоит делать

• Реализовывать конвейеры обработки данных для репликации данных из ИТ-систем Банка
• Готовить данные в аналитических хранилищах для разработки моделей машинного обучения
• Поддерживать документацию по разработанному функционалу
• Отражать статус выполнения задач в Jira
• Проводить код-ревью для команды инженеров данных

Что потребуется

• Уверенное знание Python, структур данных и алгоритмов
• Опыт работы с библиотеками Numpy и Pandas для обработки данных
• Знание SQL и опыт работы с БД Oracle, Postgres, Greenplum
• Опыт разработки приложений на PySpark и настройки Spark
• Знание инструментов планирования и мониторинга рабочих процессов

Что важно знать

Роль предполагает работу в гибридном формате, что обеспечивает баланс между офисной и удаленной работой. Инженер данных будет участвовать в создании высоконагруженных систем, что требует высокой квалификации и ответственности.