Инженер данных для AI/LLM-продуктов

Что за роль

Инженер данных будет готовить корпоративные данные и контекст для прототипирования AI-ассистента, а также проверять, насколько качественно он находит и использует нужную информацию. В работе сочетаются обработка данных, сборка технических прототипов и автоматизация оценки LLM-сценариев. Отдельная часть задачи — передавать в разработку проверенные прототипы и понятные технические требования.

Что предстоит делать

• Выгружать, очищать, нормализовать и объединять данные из корпоративных источников для прототипирования ассистента.
• Собирать PoC и технические прототипы, чтобы проверять гипотезы и оценивать применимость решений.
• Готовить данные для RAG и retrieval, тестировать поиск, сопоставление сущностей и качество контекста.
• Совместно с аналитиками формировать golden dataset на основе реальных кейсов.
• Автоматизировать массовый прогон сценариев ассистента, сравнение ответов с эталоном и фиксацию ошибок.
• Настраивать автоматическую оценку полноты ответов, галлюцинаций и качества retrieval, собирать regression-набор.
• Описывать результаты проверок и передавать разработчикам подтверждённые прототипы и технические требования.

Что потребуется

• От 3 лет опыта в data engineering, автоматизации или разработке аналитических решений.
• Уверенное владение Python и SQL, опыт обработки и преобразования данных.
• Опыт работы с API, JSON, процессами ETL/ELT и интеграциями источников данных.
• Понимание DWH, моделей данных и практик Data Quality.
• Понимание LLM, RAG, retrieval и embedding.
• Опыт подготовки датасетов и автоматизации проверок.

Что важно знать

В описании обозначены конкретные направления работы: подготовка данных, проверка качества retrieval и автоматизация регрессионной оценки AI-ассистента. Такая позиция подходит специалисту, который сочетает инженерную работу с данными с практической проверкой LLM-систем и их ответов.