Senior Data Platform Engineer

Что за роль

Senior Data Platform Engineer в IVI отвечает за развитие платформы для расчета ML-признаков в различных сценариях. Основная задача заключается в создании и поддержании эффективных пайплайнов для обработки данных, что включает как исторические расчеты, так и обновление признаков в реальном времени.

Что предстоит делать

• Развивать платформу для расчета ML-признаков в batch-, streaming- и nearline-сценариях
• Строить и поддерживать пайплайны для исторических расчетов и backfill
• Обеспечивать корректность данных, избегая попадания данных «из будущего» в обучающие датасеты
• Собирать и обрабатывать обучающие датасеты для улучшения качества моделей
• Работать с командами разработки и аналитики для интеграции новых функций

Что важно знать

Роль требует глубоких знаний в области обработки данных и машинного обучения, а также умения работать с большими объемами информации. Здесь ценится способность к разработке надежных и масштабируемых решений, что критично для бизнес-процессов компании.