LLM Data Scientist по оценке качества GigaChat
Что за роль
Специалист будет оценивать качество GigaChat и анализировать модельные риски генеративных моделей. Работа сочетает эксперименты с LLM, статистическую оценку результатов и разработку инструментов для систематической проверки поведения модели. В описании указан стек Python, Transformer и инструменты для поддержания качества кода.
Что предстоит делать
- Разрабатывать подходы и сценарии для оценки качества ответов GigaChat.
- Проводить тестирование генеративной модели на разных типах запросов и анализировать полученные результаты.
- Исследовать модельные риски: выявлять нежелательные или нестабильные реакции и фиксировать условия их возникновения.
- Применять статистические методы для анализа результатов оценивания и сопоставления вариантов поведения модели.
- Подготавливать код на Python для экспериментов, обработки данных и воспроизводимой проверки гипотез.
- Поддерживать читаемость и надёжность кода с использованием принципов ООП, PEP 8, ruff и mypy.
Что потребуется
- Знание Python и объектно-ориентированного программирования.
- Понимание статистики и умение применять её для анализа результатов.
- Знакомство с LLM и архитектурой Transformer.
- Навыки соблюдения PEP 8 и работы с инструментами ruff и mypy.
Что важно знать
Фокус вакансии — оценка качества языковой модели и рисков её генеративного поведения, а не разработка обычного backend-сервиса. В исходном описании обозначены ключевые технологии и инструменты, но не раскрыты требования к опыту, конкретные этапы оценки, график и компенсация.
Подписка TalentMove
Больше,
чем вакансии
→ TalentScanAI
Узнайте стоимость вашего опыта на рынке
→ Закрытое сообщество
Нетворкинг и инсайды рынка труда
→ Топ вакансии
Лучшие вакансии с доставкой в Telegram