Дата Инженер для SQL, Spark, Airflow

Что за роль

Должность дата инженера с акцентом на проектирование и оптимизацию масштабируемых пайплайнов обработки данных. Роль включает работу с высококачественными данными и участие в разработке AI/ML сервисов в рамках корпоративного центра ИИ.

Что предстоит делать

• Проектировать и оптимизировать масштабируемые пайплайны обработки данных на базе Airflow, Spark и Hadoop
• Поддерживать высокое качество данных через валидацию, профилирование и мониторинг
• Обеспечивать своевременную поставку признаков для аналитики и машинного обучения
• Участвовать в разработке AI/ML сервисов

Что потребуется

• Высшее образование
• Продвинутое владение SQL (ClickHouse, Hive), оптимизация запросов
• Опыт работы с Python и PySpark, основы Scala
• Знание Hadoop/HDFS и интеграция с объектными хранилищами (S3)
• Опыт проектирования ETL/ELT-процессов в Airflow
• Навыки работы с Git и CI/CD

Что важно знать

Вакансия предлагает возможность работать в профессиональной команде с перспективами карьерного роста и официальным трудоустройством. Ожидается высокая мотивация и результативность от кандидата.