LLM Data Scientist по оценке качества GigaChat

Что за роль

Специалист будет оценивать качество GigaChat и анализировать модельные риски генеративных моделей. Работа сочетает эксперименты с LLM, статистическую оценку результатов и разработку инструментов для систематической проверки поведения модели. В описании указан стек Python, Transformer и инструменты для поддержания качества кода.

Что предстоит делать

    • Разрабатывать подходы и сценарии для оценки качества ответов GigaChat.
    • Проводить тестирование генеративной модели на разных типах запросов и анализировать полученные результаты.
    • Исследовать модельные риски: выявлять нежелательные или нестабильные реакции и фиксировать условия их возникновения.
    • Применять статистические методы для анализа результатов оценивания и сопоставления вариантов поведения модели.
    • Подготавливать код на Python для экспериментов, обработки данных и воспроизводимой проверки гипотез.
    • Поддерживать читаемость и надёжность кода с использованием принципов ООП, PEP 8, ruff и mypy.

Что потребуется

    • Знание Python и объектно-ориентированного программирования.
    • Понимание статистики и умение применять её для анализа результатов.
    • Знакомство с LLM и архитектурой Transformer.
    • Навыки соблюдения PEP 8 и работы с инструментами ruff и mypy.

Что важно знать

Фокус вакансии — оценка качества языковой модели и рисков её генеративного поведения, а не разработка обычного backend-сервиса. В исходном описании обозначены ключевые технологии и инструменты, но не раскрыты требования к опыту, конкретные этапы оценки, график и компенсация.

Оценка вакансии
6.7 / 10
В вакансии названы предметная область и основной стек: оценка GigaChat, модельные риски, Python, статистика и Transformer. При этом не указаны требования к опыту, зарплата и подробности условий; задачи описаны кратко.
Опубликовано:

Будьте в курсе новых вакансий

Подпишитесь на наш Telegram-канал

TalentMove стал Жабкой

Встречайте
TalentMove 2.0

Удобнее искать. Проще выбирать.

Открыть Жабку