Инженер по обработке данных

Что за роль

В Nexters открыта позиция инженера по обработке данных, который будет отвечать за проектирование, создание и поддержку масштабируемых конвейеров данных. Основные задачи включают разработку ETL/ELT-пайплайнов и оптимизацию производительности заданий на основе Spark.

Что предстоит делать:

• Проектировать и разрабатывать конвейеры пакетной и потоковой обработки данных.
• Организовывать и поддерживать прием данных из внутренних и внешних источников.
• Разрабатывать и совершенствовать модели озера данных и хранилища данных.
• Оптимизировать производительность заданий по обработке данных на основе Spark.
• Работать с конвейерами потоковой обработки на основе Kafka.
• Сотрудничать с командами аналитиков и разработчиков.

Что важно знать

Мы ищем специалиста с сильными навыками работы с SQL и Python, а также большим опытом создания ETL/ELT-пайплайнов. Опыт работы со Spark/PySpark и архитектурами озера данных будет преимуществом.