AI/LLM Engineer

Что за роль

Вакансия AI/LLM Engineer в компании GenAI Evaluation предлагает возможность заниматься разработкой и валидацией решений на базе генеративного искусственного интеллекта. Основная задача — выстраивание процессов и создание сервисов для тестирования GenAI-решений, а также проектирование метрик качества для оценки их эффективности.

Что предстоит делать

• Выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development
• Разрабатывать сервис для массового тестирования GenAI-решений: от запросов к LLM до сложных агентов
• Создавать внутренние бенчмарки по HR-домену для оценки open-source LLM
• Проектировать метрики качества и валидационные пайплайны, настраивать observability
• Организовывать человеческую разметку и разрабатывать LLM-as-Judge
• Готовить лучшие практики и инструкции для продуктовых команд

Что потребуется

• Уверенный Python, опыт production-ready ML/GenAI-сервисов
• Опыт систем оценки качества ML/GenAI: offline-метрики, regression testing, human evaluation, A/B
• Опыт валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость)
• Опыт с DeepEval, LangFuse, MLflow, LangSmith и аналогами
• Опыт с LLM API, RAG, агентами, LangChain/LangGraph
• Опыт FastAPI, asyncio и векторных баз (Milvus, Qdrant, FAISS, pgvector)

Что важно знать

Компания предлагает гибкие условия работы: удаленно, в гибридном формате или в офисе. Это отличная возможность для профессионалов, желающих углубиться в область AI и GenAI, а также поработать с передовыми технологиями в команде экспертов.