Модели начинают действовать раньше, чем выясняют неоднозначную задачу пользователя
Исследователи превратили заданные задачи в диалоги с частично скрытым и меняющимся намерением пользователя.
При неоднозначности модели восстанавливали задуманную задачу в 22–32% случаев.
Люди в сопоставимом исследовании достигли 48% и превзошли все проверенные модели.
Дообучение с учителем и подкреплением улучшило результат, но не устранило отставание от людей.
Почему важно
Надежность агента ограничивает не выполнение ясной инструкции, а способность вопросами превратить неясное желание в проверяемую цель.