Beaumaster, Schrater — Smart Alone, Blind Together: Why Accuracy Fails to Certify Theory of Mind in Multi-Agent Teams
DOI: 10.48550/arxiv.2610.19051 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)
Вид: научная статья (препринт arXiv)
Коротко
Вопрос: можно ли сертифицировать координатора, который действует на основе выводов о партнерах, по точности этих выводов?
Ответ: Beaumaster и Schrater утверждают, что точность выводов о партнерах - неверный сертификат для координаторов, действующих по этим выводам: нужная точность зависит от цены ошибочного действия, а ошибки модуля редко независимы, и предлагают сертифицировать развертывание с помощью Blind-Spot Gate.
Тезисы
Beaumaster и Schrater возражают практике, по которой модули, выводящие убеждения о партнерах, оценивают по точности этих выводов.
Т1. Beaumaster и Schrater утверждают, что точность - неверный сертификат, и называют две причины
- Аргумент: причины - цена ошибочного действия (Т2) и зависимость ошибок (Т3).
- Цитата: «We argue that accuracy is the wrong certificate, for two reasons.»
Т2. Точность, нужная для действия, зависит от цены ошибочного действия, так что планка принадлежит развертыванию, а не модулю
- Аргумент: по Beaumaster и Schrater, порог точности определяется развертыванием, где ошибочное действие имеет свою цену.
- Цитата: «First, the accuracy needed to act depends on what a wrong action costs, so the bar belongs to the deployment, not the module.»
Т3. Положительно связанные ошибки повышают ожидаемую пользу действия там, где их ущерб перекрывается, и снижают ее там, где ущерб складывается
- Аргумент: Beaumaster и Schrater ссылаются на Теорему 1 и рисунок 1.
- Цитата: «Where two errors do less harm together than apart (their damage overlaps), positively associated errors raise the expected benefit of acting; where they do more (damage compounds), they lower it (Theorem 1; Figure 1).»
Т4. Когда ошибочные убеждения взаимодействуют и действие по ним может навредить, ни одно правило по точности не подходит каждому модулю; сертификат должен видеть, как ошибки встречаются вместе
- Аргумент: Beaumaster и Schrater формулируют это как Теорему 2.
- Цитата: «And once wrong beliefs interact and acting on them can hurt, no rule based on accuracy is right for every module; a certificate must see how errors co-occur (Theorem 2).»
Т5. Точность ошибается в обе стороны: одобряет вредные развертывания языковых моделей в Hanabi, где общие ошибки складываются, и отвергает полезные в назначении задач, где дорогие ошибки редки
- Аргумент: Beaumaster и Schrater показывают оба случая на разных областях: Hanabi и назначение задач.
- Цитата: «Accuracy fails in both directions, approving harmful language-model deployments in Hanabi, where shared errors compound, and rejecting beneficial ones in task assignment, where costly errors are rare.»
Т6. Языковые модели, по Beaumaster и Schrater, точны, но ошибаются вместе
- Аргумент: Beaumaster и Schrater говорят это о языковых моделях в своих задачах.
- Цитата: «The models are accurate, but wrong together.»
Т7. Beaumaster и Schrater предлагают сертифицировать развертывание: Blind-Spot Gate оценивает цену ошибок, их взаимодействие и совместную встречаемость, не развертывая модуль
- Аргумент: оценка строится по проигрываниям с внесенными ошибками и статистике ошибок модуля.
- Цитата: «We therefore propose certifying the deployment: the Blind-Spot Gate prices what errors cost, how they interact and how often they co-occur, from replays with injected errors and the module’s error statistics, without deploying the module.»
Т8. Учет взаимодействий ошибок и измеренной зависимости убирает значимые ложные одобрения во всех 20 разбиениях
- Аргумент: взаимодействия сокращают число значимых ложных одобрений до 1,5 и потери до 0,023 против 0,056 у правила по точности; измеренная зависимость убирает такие одобрения ценой отказов от решения.
- Цитата: «Interactions cut significant false approvals to 1.5 and regret to 0.023 (accuracy: 0.056), and the measured dependence removes them in all 20 splits (regret 0.021), at the price of more deferrals.»
Пример
Две оценки с одинаковой точностью. Если единица теряется только тогда, когда ошибочны обе, общие ошибки делают потерю более частой; если единица теряется при любой из двух ошибок, общие ошибки делают ее более редкой. Точность в обоих случаях одна и та же и разницы не показывает.
Критика
- Beaumaster и Schrater признают, что Gate - оценка второго порядка: распространение на модули со многими согласованными ошибками - дело будущей работы. Цитата: «The gate is a second-order certificate: extending it to modules that make many coherent errors at once is future work, and there direct measurement applies.»
- Они же называют свои области контролируемыми бенчмарками. Цитата: «Our domains are controlled benchmarks with known hidden variables, which is what lets us inject errors of known kinds; the human data, whose hidden states nobody defined, show the same knee and the same two directions.»
Связи
- Blind-Spot Gate - см. также
- Сертификат развертывания - см. также
- Зависимость ошибок - см. также
- Избыточность наблюдателей - см. также