Data Analyst / Data Engineer на Apache Spark

Что за роль

Это позиция на стыке Data Analyst и Data Engineer: нужно разбирать требования заказчиков, проектировать обработку данных и проверять решения на Apache Spark. Работа охватывает DWH/BI-процессы, данные в S3 и таблицы Apache Iceberg — от анализа исходной документации до проверки изменений перед выпуском.

Что предстоит делать

    • Принимать и анализировать документацию заказчиков, уточнять неоднозначные требования и оценивать реализуемость решений с учетом текущего стека.
    • Оценивать влияние изменений на существующие процессы, модели данных, таблицы и связанные компоненты.
    • Проектировать и согласовывать концептуальные и логические решения, а также потоки обработки и трансформации данных на Apache Spark.
    • Работать с данными в S3 и таблицами Apache Iceberg, учитывать их структуру при проектировании обработки.
    • Писать SQL-код в Apache Spark для прототипирования, проверки гипотез и валидации логики расчетов и моделей данных.
    • Принимать и тестировать патчи на тестовых, предпродуктивных и продуктивных стендах, проверять Spark-задачи, SQL-логику и загрузки в S3.
    • Контролировать корректность таблиц Iceberg и подготовку доработок к выпуску в продуктивный контур.

Что потребуется

    • Опыт от двух лет на позициях Data Analyst или Data Engineer в области DWH/BI.
    • Практический опыт работы с Apache Spark и продвинутое владение SQL: joins, оконные функции, CTE, агрегации, подзапросы и оптимизация запросов.
    • Опыт оптимизации Spark-задач и SQL-запросов на больших объемах данных, работы с S3 и Apache Iceberg либо понимание его ключевых возможностей.
    • Понимание DWH, ETL/ELT, нормализации данных и организации потоков обработки; опыт тестирования данных.
    • Навык подготовки структурированной технической документации, включая BRD и FSD, и опыт работы с Git.
    • Важны системное аналитическое мышление, самостоятельность, ответственность, внимательность и коммуникабельность.

Что важно знать

Дополнительным преимуществом будут знания Oracle, Greenplum, ClickHouse, Airflow, SuperSet или FineBI, базовый Python и знакомство с data lake и lakehouse-архитектурой. Также полезен опыт в финансовой сфере и понимание Agile, Scrum или Kanban. В описании не указаны формат работы и условия оплаты.

Оценка вакансии
6.5 / 10
Вакансия подробно описывает задачи, стек и требования, включая Apache Spark, SQL, S3 и Iceberg. Не указаны зарплата, формат работы и тип занятости, поэтому условия предложения оценить сложно.
Опубликовано:

Будьте в курсе новых вакансий

Подпишитесь на наш Telegram-канал

TalentMove стал Жабкой

Встречайте
TalentMove 2.0

Удобнее искать. Проще выбирать.

Открыть Жабку