Data Engineer для VLM Training Data

Что за роль

В этой роли Data Engineer вы будете отвечать за сбор и подготовку данных для ML-команды, работающей над Vision-Language Models (VLM). Основные задачи включают проектирование и реализацию пайплайнов для очистки, фильтрации и генерации данных, а также контроль за качеством и версионированием датасетов.

Что предстоит делать:
• Собирать и структурировать потребности ML-команды в данных для обучения и улучшения VLM.
• Проектировать пайплайны обработки данных на большом масштабе, включая десятки миллиардов изображений.
• Работать с объектными хранилищами, такими как S3, и системами для распределённой обработки данных.
• Обеспечивать воспроизводимость и надежность data-процессов.
• Собирать статистику и строить визуализации для анализа качества и покрытия датасетов.

Что важно знать

Вы будете работать на стыке engineering и ML research, что требует сильного опыта в data engineering и умений проектировать устойчивые пайплайны. Взаимодействие с ML-инженерами и исследователями будет ключевым аспектом вашей работы, что позволит вам влиять на качество и эффективность моделей.