Senior Big Data Engineer

Что за роль

Senior Big Data Engineer в Lamoda отвечает за разработку и поддержку высоконагруженных систем обработки данных. Важной частью работы будет использование технологий, таких как Kubernetes, Hadoop и Spark для обработки больших объемов данных.

Что предстоит делать

• Оптимизация и поддержка кластеров Kubernetes для обработки данных
• Работа с Hadoop, включая HDFS и Hive Metastore
• Разработка и поддержка приложений на Spark, включая Spark SQL и streaming
• Управление процессами в Apache Iceberg, включая maintenance и snapshots
• Создание и поддержка ETL-процессов с использованием Airflow
• Интеграция и тестирование библиотек на Python и Scala/Java

Что важно знать

Работа в офисе в Москве с возможностью участия в интересных проектах по обработке больших данных. Условия обсуждаются на собеседовании, средняя рыночная зарплата составляет от 300 000 до 420 000 ₽.