Data Engineer

Что за роль

Data Engineer в команде CDP — ключевая позиция, отвечающая за проектирование и разработку высоконагруженных систем обработки данных. Основные задачи включают оптимизацию пайплайнов для расчета метрик и разработку сервисов, обрабатывающих миллиарды событий пользователей.

Что предстоит делать:
• Повышение эффективности пайплайнов для расчета daily-признаков на основе batch процессинга.
• Создание эффективного пайплайна для расчёта realtime-признаков на основе Kafka-топиков.
• Проектирование и разработка сервисов для обработки больших объемов данных.
• Решение сложных инженерных задач, связанных с расчетами метрик и построением витрин.
• Работа с потоками данных и интеграциями между CDP и другими системами 2ГИС.
• Влияние на архитектурные решения и качество кода.
• Взаимодействие с аналитиками и продактами в распределенной команде.

Что важно знать

Роль требует уверенного опыта работы с highload-системами и проектирования архитектуры данных. Ожидается, что кандидат будет проактивным, способен предлагать решения и разбираться в бизнес-логике, создавая продукт, а не просто пиша код.