Junior Data Engineer

Что за роль

Лига Цифровой Экономики ищет Junior Data Engineer для работы с банковскими данными и распределённой инфраструктурой Hadoop. В фокусе — анализ источников и автоматизированных систем, подготовка витрин данных, создание прототипов и поддержка существующего функционала. Для решения задач используются SQL, HQL и инструменты экосистемы Hadoop.

Что предстоит делать

• Анализировать новые источники данных и автоматизированные системы, в том числе связанные с Hadoop и Spark.
• Разрабатывать витрины данных для дальнейшего использования.
• Создавать прототипы решений на SQL и передавать их в разработку.
• Поддерживать существующий функционал и дорабатывать его с учётом новых требований.
• Формировать проверки, помогающие контролировать качество данных.

Что потребуется

• Уверенное знание SQL, включая HQL, оконные функции, multiple join, CTE и оптимизацию запросов.
• Опыт работы с Hadoop, HDFS, Hive, YARN и Spark.
• Понимание того, как физически хранятся данные в Hadoop, и принципов партиционирования таблиц.
• Опыт работы с большими данными; в описании указан объём от 10 миллионов записей в партиции.
• Общее понимание банковских продуктов и опыт работы с банковскими данными.

Что важно знать

В работе сочетаются исследование источников, построение витрин и сопровождение уже работающих решений. Вакансия включает конкретные требования к SQL и Hadoop-стеку, а также к пониманию банковских данных. Для связи по вакансии указан адрес hr@digitalleague.ru.