Data Analyst / Data Engineer на Apache Spark
- Альфа-Инсайт
- 1-3 года
Что за роль
Это позиция на стыке Data Analyst и Data Engineer: нужно разбирать требования заказчиков, проектировать обработку данных и проверять решения на Apache Spark. Работа охватывает DWH/BI-процессы, данные в S3 и таблицы Apache Iceberg — от анализа исходной документации до проверки изменений перед выпуском.
Что предстоит делать
- Принимать и анализировать документацию заказчиков, уточнять неоднозначные требования и оценивать реализуемость решений с учетом текущего стека.
- Оценивать влияние изменений на существующие процессы, модели данных, таблицы и связанные компоненты.
- Проектировать и согласовывать концептуальные и логические решения, а также потоки обработки и трансформации данных на Apache Spark.
- Работать с данными в S3 и таблицами Apache Iceberg, учитывать их структуру при проектировании обработки.
- Писать SQL-код в Apache Spark для прототипирования, проверки гипотез и валидации логики расчетов и моделей данных.
- Принимать и тестировать патчи на тестовых, предпродуктивных и продуктивных стендах, проверять Spark-задачи, SQL-логику и загрузки в S3.
- Контролировать корректность таблиц Iceberg и подготовку доработок к выпуску в продуктивный контур.
Что потребуется
- Опыт от двух лет на позициях Data Analyst или Data Engineer в области DWH/BI.
- Практический опыт работы с Apache Spark и продвинутое владение SQL: joins, оконные функции, CTE, агрегации, подзапросы и оптимизация запросов.
- Опыт оптимизации Spark-задач и SQL-запросов на больших объемах данных, работы с S3 и Apache Iceberg либо понимание его ключевых возможностей.
- Понимание DWH, ETL/ELT, нормализации данных и организации потоков обработки; опыт тестирования данных.
- Навык подготовки структурированной технической документации, включая BRD и FSD, и опыт работы с Git.
- Важны системное аналитическое мышление, самостоятельность, ответственность, внимательность и коммуникабельность.
Что важно знать
Дополнительным преимуществом будут знания Oracle, Greenplum, ClickHouse, Airflow, SuperSet или FineBI, базовый Python и знакомство с data lake и lakehouse-архитектурой. Также полезен опыт в финансовой сфере и понимание Agile, Scrum или Kanban. В описании не указаны формат работы и условия оплаты.
Подписка TalentMove
Больше,
чем вакансии
→ TalentScanAI
Узнайте стоимость вашего опыта на рынке
→ Закрытое сообщество
Нетворкинг и инсайды рынка труда
→ Топ вакансии
Лучшие вакансии с доставкой в Telegram