Data Engineer / Data Analyst по DWH и BI

Что за роль

Это позиция DA/DE в области DWH и BI с фокусом на анализ требований и проектирование обработки данных. В работе используются Apache Spark, SQL, S3 и Apache Iceberg: специалист разбирает документацию заказчиков, формализует логику и проверяет её на данных. Также предстоит участвовать в тестировании изменений и контролировать подготовку доработок к выпуску.

Что предстоит делать

• Принимать и анализировать документацию заказчиков, уточнять требования и оценивать реализуемость решений с учётом используемого стека.
• Формализовать требования и оценивать влияние изменений на процессы обработки, модели данных, таблицы и связанные компоненты.
• Разрабатывать и согласовывать концептуальные и логические решения для обработки данных.
• Проектировать потоки обработки и трансформации данных на Apache Spark, включая работу с данными в S3 и таблицами Apache Iceberg.
• Писать SQL-код в среде Spark для прототипирования, проверки гипотез и подтверждения корректности расчётов и моделей данных.
• Принимать и тестировать патчи на тестовых, предпродуктивных и продуктивных стендах; проверять Spark-задачи, SQL-логику и загрузки в S3.
• Готовить и контролировать выгрузку доработок в продуктивный контур.

Что потребуется

• От двух лет опыта на позициях DA/DE в области DWH или BI.
• Практический опыт работы с Apache Spark и продвинутый SQL: joins, оконные функции, CTE, агрегации, подзапросы и оптимизация запросов.
• Опыт оптимизации Spark-задач и SQL-запросов на больших объёмах данных, работы с S3 и Apache Iceberg либо понимание его ключевых возможностей.
• Знание принципов построения DWH, ETL/ELT, нормализации данных и организации потоков обработки.
• Навык подготовки структурированной технической документации, включая BRD и FSD, тестирования данных и работы с Git.
• Системное аналитическое мышление, самостоятельность, ответственность, внимательность и готовность взаимодействовать с заказчиками.

Что важно знать

Знание Oracle и Greenplum, базовый Python, Agile, Scrum или Kanban будут преимуществом. Также полезен опыт в финансовой сфере и знакомство с ClickHouse, Airflow, SuperSet, FineBI, data lake и lakehouse-архитектурой. В описании отдельно выделены практическая работа с Spark и SQL, проверка корректности данных и сопровождение изменений до продуктивного контура.