Middle Data Engineer на Hadoop и Java

Что за роль

WILIX ищет Middle Data Engineer со знанием Java или Groovy. Основной контекст работы — хранилища данных и экосистема Hadoop: от администрирования среды до оптимизации запросов и сопровождения информационных систем. В проекте также используются Greenplum и PostgreSQL.

Что предстоит делать

• Участвовать в построении и развитии хранилищ данных.
• Работать с компонентами экосистемы Hadoop, включая HDFS, YARN, Spark, Kafka, NiFi, Sqoop и Flume.
• Писать и оптимизировать SQL-запросы, использовать DDL и DML.
• Работать с базами Greenplum и PostgreSQL.
• Администрировать Hadoop-среду и Linux.
• Использовать Java или Groovy в задачах обработки данных.
• Вести проектную и техническую документацию, сопровождать и мониторить информационные системы в своей зоне ответственности.

Что потребуется

• Опыт работы Data Engineer от 3 до 6 лет.
• Знание принципов построения хранилищ данных и опыт работы с Hadoop.
• Практические навыки работы с HDFS и Hive; знакомство с другими компонентами Hadoop-экосистемы.
• Знание SQL, включая DDL и DML, и опыт оптимизации запросов.
• Опыт работы с Greenplum и PostgreSQL.
• Знание Java или Groovy.
• Опыт администрирования Hadoop и Linux, а также работы с системами управления проектами, документацией, сопровождением и мониторингом.

Что важно знать

Это проектная работа с указанным графиком 5/2. В вакансии обозначены зарплатная вилка и основные требования к стеку, но не уточняется длительность проекта и используемые системы управления проектами и мониторинга.