Data Engineer для Hadoop, Scala

Что за роль

Работа в команде разработки, сосредоточенная на создании и оптимизации ETL/ELT-конвейеров для обработки больших данных. Специалист будет отвечать за настройку и администрирование Hadoop/Spark-инфраструктуры, а также за оптимизацию распределенных вычислений и запросов.

Что предстоит делать

• разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных
• настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase)
• оптимизация распределенных вычислений и запросов
• работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ)
• участие в проектировании и масштабировании архитектуры данных
• автоматизация процессов с использованием DevOps-практик (Docker, CI/CD)

Что потребуется

• высшее (неоконченное высшее) образование
• опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop)
• глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet)
• опыт оптимизации производительности распределенных систем
• работа с потоковой обработкой (Kafka, Spark Streaming)
• навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB)

Что важно знать

Роль предлагает возможность работы с передовыми технологиями в области больших данных, а также участие в проектировании и масштабировании архитектуры данных. Это отличная возможность для тех, кто хочет развиваться в сфере Data Engineering.