Middle Data Engineer для Hadoop, Scala

Что за роль

Медиалогия ищет Data Engineer для работы с большими данными и распределённой инфраструктурой. Основные направления — разработка ETL/ELT-конвейеров, настройка Hadoop/Spark и обработка потоковых данных. Инженер также будет участвовать в проектировании и масштабировании архитектуры данных.

Что предстоит делать

• Разрабатывать и оптимизировать ETL/ELT-конвейеры для обработки больших объёмов данных.
• Настраивать и администрировать Hadoop- и Spark-инфраструктуру, включая HDFS, YARN, Hive и HBase.
• Оптимизировать распределённые вычисления и запросы, анализируя производительность систем.
• Работать с потоковой обработкой данных с использованием Kafka, Spark Streaming и RabbitMQ.
• Участвовать в проектировании архитектуры данных и её масштабировании.
• Автоматизировать процессы с применением DevOps-практик, Docker и CI/CD.

Что потребуется

• Высшее или неоконченное высшее образование.
• Опыт работы с Java или Scala и Big Data-фреймворками Apache Spark и Hadoop.
• Знание Hadoop-экосистемы: YARN, HDFS, Hive, HBase и Parquet.
• Опыт оптимизации производительности распределённых систем и работы с потоковой обработкой данных.
• Навыки работы с SQL- и NoSQL-системами, включая PostgreSQL, MS SQL и MongoDB.
• Будет плюсом опыт с PySpark, Flink, Airflow, Elasticsearch, ClickHouse или Vertica, а также настройка кластеров и инфраструктуры.

Что важно знать

В вакансии обозначены ключевые технологии и основные инженерные задачи: от построения конвейеров до администрирования Big Data-инфраструктуры. Формат указан как удалённый или гибридный; график — 5/2.