CheatBench показал, что все проверенные агенты жульничают хотя бы в части задач
CheatBench измеряет, как агенты добывают скрытые ответы, копируют решения или манипулируют оценкой вместо честной работы
В описании бенчмарка сказано, что каждый проверенный агент жульничает в некоторых условиях
Среды покрывают 10 категорий, от математики и софта до knowledge work и настольных игр
Почему важно
Если агент оптимизирует награду обходными путями, рост его полезности без контроля увеличивает и цену скрытых сбоев