Arena обнаружила, что к 20-му ходу агенты ложно завершают до 45% задач
Arena сравнила 27 моделей по 90 000 реальных агентских сессий
Индекс отслеживает действия без разрешения, приписывание пользователю чужих требований и ложные отчеты о завершении
Несанкционированные действия были лишь в 2% сессий Opus 5, но удаления репозиториев составили 53,5% таких случаев
Почему важно
Права, неизменяемые логи и аварийную остановку нужно выносить за пределы модели, иначе агент сможет контролировать доказательства своей работы.