Data Engineer для Customer Data Platform

Что за роль

В команде 2ГИС развивают внутреннюю Customer Data Platform (CDP): она собирает данные из разных источников, формирует пользовательские профили и поддерживает персонализацию продукта. Data Engineer будет развивать обработку данных для платформы — от ежедневных batch-процессов до realtime-потоков. Среди ключевых технических задач — проектирование обработки миллиардов событий и участие в формировании архитектуры платформы.

Что предстоит делать

• Улучшать batch-пайплайны, которые рассчитывают ежедневные пользовательские признаки.
• Создавать realtime-пайплайн на Kafka для потоковой обработки событий.
• Проектировать надёжную обработку больших объёмов событий с учётом масштабирования и особенностей платформы.
• Работать с системами потоковой и аналитической обработки данных, включая Kafka и ClickHouse.
• Применять Spark и языки программирования, такие как Python или Scala, для разработки платформенных решений.
• Участвовать в выборе архитектурных подходов по мере формирования стека Customer Data Platform.

Что потребуется

• Опыт работы с highload-системами и проектирования архитектуры данных либо платформенного кода.
• Опыт с Kafka, ClickHouse или другими системами потоковой и аналитической обработки.
• Понимание Apache Spark и практический навык работы с ним.
• Хорошее владение языком программирования; в качестве примеров указаны Python и Scala.
• Будут полезны Airflow, SQL, практики Data Quality и Data Contracts, а также инструменты Data Lineage и Data Catalog.
• Дополнительным преимуществом станет знание S3 и опыт в персонализации, сегментации или realtime-аналитике.

Что важно знать

Стек платформы ещё формируется, поэтому у инженера будет возможность влиять на архитектурные решения. Вакансия сочетает развитие batch-обработки с построением realtime-пайплайна и работой с большими объёмами событий. В описании не указаны зарплатная вилка и страны, из которых доступна удалённая работа.