Интерактивная проверка находит сбои агентов, которые не видны по коду
LLM-судья поставил статье 5 из 5, хотя не видел документацию и принял отсутствие сведений за отсутствие функции.
Interaction-as-a-Judge повысил точность проверки требований с 77,0% до 81,6%.
За пять попыток интерактивный судья исправил 75,5% нарушенных требований против 55,4% у обратной связи только по коду.
В другом проекте Codex переносил удачные решения из качественно организованного соседнего репозитория.
Почему важно
Агентам нужны доступ к реальным артефактам, образцы хорошей работы и проверка действием, иначе уверенный отчет подменяет результат.