Scala Developer для Hadoop, ETL

Что за роль

Разработка ETL потоков на платформе Hadoop с использованием Scala и Spark SQL. Важной частью работы будет поиск возможностей оптимизации и повышение стабильности приложений, что включает анализ ошибок и развитие системы логирования.

Что предстоит делать

• Разрабатывать ETL потоки на платформе Hadoop (Scala + Spark SQL)
• Оптимизировать скорость расчета и эффективность использования вычислительных ресурсов
• Анализировать типовые ошибки и риски, развивать систему логирования для промышленной эксплуатации
• Участвовать в решении инцидентов, возникающих при эксплуатации
• Развивать систему контроля качества и автотестов

Что потребуется

• Опыт работы со Scala и sbt
• Знание технологий Hadoop (HDFS, Hive, Spark версии 2 и выше, Spark SQL)

Что важно знать

Работа в гибридном формате предполагает взаимодействие с командой в офисе и удаленно. Важна способность к анализу и оптимизации процессов, что позволит повысить качество и стабильность разрабатываемых решений.