Research Engineer по оценке LLM-агентов

Что за роль

Инженер-исследователь будет разрабатывать способы оценки и улучшения LLM-агентов: от подготовки наборов данных и тестовой среды до анализа ошибок в реальных сценариях. Важная часть работы — превращать наблюдения за поведением агентов в проверяемые гипотезы, эксперименты и измеримые результаты. Потребуется сочетать прикладные исследования с разработкой надежных инструментов и систем.

Что предстоит делать

• Создавать фреймворки оценки AI-агентов, включая датасеты, изолированные среды выполнения и метрики для практических задач.
• Проводить эксперименты для сравнения моделей, агентских harness-систем, инструментов и сред выполнения, выявлять регрессии и компромиссы.
• Преобразовывать качественную обратную связь о поведении агентов в исследовательские вопросы, эксперименты и измеримые критерии.
• Находить первопричины сбоев, разделяя проблемы модели, harness, инструментов и промптов, и улучшать работу агентов.
• Разрабатывать агентские harness-системы, внутренние инструменты и интеграции, в том числе вносить вклад в Aria и другие агенты.
• Создавать общие знания и переиспользуемые навыки, которые помогают агентам обучаться и совершенствоваться.
• Совместно с командами Infrastructure и Security обеспечивать надежную и безопасную работу агентов в production.

Что потребуется

• Практический опыт создания, оценки или улучшения LLM-моделей либо агентов — в профессиональных, исследовательских, open-source или личных проектах.
• Уверенное владение Python и основами программной инженерии; умение писать тестируемый production-quality код.
• Опыт прикладных исследований, машинного обучения или data science, включая проектирование экспериментов и работу с датасетами.
• Понимание работы LLM-агентов за пределами промптинга: использование инструментов, harness-системы, управление контекстом и типичные причины сбоев.
• Умение разбивать открытые задачи на проверяемые вопросы, самостоятельно продвигать решения и создавать полезные инструменты для других команд.
• Готовность сотрудничать с исследователями и инженерами и адаптироваться к изменению приоритетов.

Что важно знать

Дополнительным преимуществом будут опыт построения evaluation pipelines, бенчмарков, RL-сред или инфраструктуры тестирования моделей, участие в open-source проектах для агентов, а также знания в обучении и fine-tuning моделей. Полезны исследовательский опыт или продвинутая степень в компьютерных науках, математике, статистике или ML; знакомство с финансовыми рынками, количественными исследованиями, DeFi, моделированием рисков и безопасностью AI. Компания указывает полностью оплачиваемые медицинскую, стоматологическую и офтальмологическую страховки, стипендию на обустройство домашнего рабочего места, компенсацию связи, неограниченный отпуск, оплачиваемый родительский отпуск на 12 недель и fertility benefits. Также предусмотрены incentive compensation и долевое вознаграждение; базовый диапазон указан отдельно от потенциальных дополнительных выплат.