Lai и др. — CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline
DOI: 10.48550/arxiv.2610.19128 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)
Вид: препринт (arXiv): фреймворк генерации задач и бенчмарк
Коротко
Вопрос: как проверять способность мультиагентных систем разрешать конфликты информации в компьютерных задачах, если ручное составление задач не масштабируется, а генерация без ограничений дает нерешаемые задачи?
Ответ: по Lai и др., CLASHarness порождает задачи о конфликтах в мультиагентной работе с компьютером (бенчмарк из 600 раундов), а оценка моделей, как они заявляют, выявляет три узких места: слабые модели слепо следуют вводящей в заблуждение информации, исправлять состояние системы труднее, чем замечать несогласованность, а даже передовые модели проваливают больше 58 % закрывающих действий.
Тезисы
Т1. По Lai и др., существующие компьютерные бенчмарки в основном предполагают согласованную кооперативную среду с одним агентом, а мультиагентные оценки в основном ограничены чистым текстовым диалогом
- Аргумент: утверждение с оговорками: речь о большинстве бенчмарков, а не обо всех.
- Цитата: «However, existing computer-use benchmarks mostly assume consistent, cooperative single-agent environments (Xie et al., 2024b; Zhou et al., 2024), while multi-agent evaluations remain largely confined to puretext dialogue (Cemri et al., 2026; Pappu et al., 2026).»
Т2. Чтобы пройти задачу, агент, по Lai и др., должен не верить ложным отчетам коллег, проверить факт по визуальным дашбордам, переопределить неверное состояние и выполнить строгие закрывающие передачи
- Аргумент: так Lai и др. описывают цепочку шагов в сценариях своего бенчмарка, а не любую практическую ситуацию.
- Цитата: «To pass a task, an agent must distrust false peer claims, verify ground truth from visual dashboards, override the faulty state, and complete strict closing handovers.»
Т3. Lai и др. считают, что вручную составлять такие задачи не масштабируется, а генерация задач без ограничений дает дрейф сюжета, утечку ответа и невыполнимые критерии оценки
- Аргумент: из-за невыполнимых критериев задачи, по их словам, остаются нерешаемыми.
- Цитата: «Evaluating such conflict resolution remains challenging: manual task authoring cannot scale across complex systems, while generating tasks via unconstrained LLM generation produces narrative drift, answer leakage, and unsatisfiable grading rubrics that leave tasks unsolvable.»
Т4. Lai и др. заявляют, что CLASHarness гарантирует разрешимость каждой задачи по построению: планирование сценария по уровням и восьмишаговый проверяемый микроконвейер, решающие визуальные факты фиксируются до отрисовки, проверки компилируются из выполненных эталонных траекторий
- Аргумент: это заявление Lai и др. о собственном фреймворке.
- Цитата: «By combining hierarchical scenario planning with an eight-step verified micro-pipeline, CLASHarness pre-commits decisive visual facts before rendering and compiles hybrid code and semantic graders directly from executed reference trajectories, guaranteeing that every task is solvable by construction.»
Т5. На основе CLASHarness Lai и др. строят основной бенчмарк из 20 структурированных сценариев-зерен, 60 вариантов пакетов и 600 исполняемых раундов с конфликтом
- Аргумент: зерна относятся к разным операционным областям; по 3 варианта на каждое зерно.
- Цитата: «Using CLASHarness, we construct a primary evaluation benchmark comprising 20 structured scenario seeds across diverse operational domains, 60 package variants (3 variants per seed), and 600 executable computer-use conflict rounds (𝑅 = 10).»
- Данные: 20 зерен, 60 вариантов пакетов (по 3 на зерно), 600 раундов (R = 10).
Т6. Когда выводы субагентов расходятся со средой, слабые модели, по Lai и др., слепо следуют вводящей в заблуждение информации, а сильные проверяют визуальные свидетельства
- Аргумент: различие между слабыми и сильными моделями проходит по тому, сверяются ли они с визуальными свидетельствами.
- Цитата: «First, when outputs of sub-agents conflict with the environment, weaker models blindly follow misleading information, whereas stronger models will inspect visual evidence to verify ground truth.»
Т7. Разрешать конфликты, по Lai и др., намного труднее, чем находить их: агенты способны заметить несогласованность, но активное исправление состояния системы заметно снижает долю успешных задач
- Аргумент: Lai и др. разделяют раунды с обязательными состояние-меняющими действиями и раунды только с расследованием при тех же конфликтах.
- Цитата: «Second, resolving conflicts is much harder than finding them: while agents can spot inconsistencies, actively fixing the system state drops task success significantly.»
Т8. По Lai и др., протоколы координации остаются общим узким местом: даже передовые модели проваливают больше 58 % закрывающих действий, часто забывая освободить общие блокировки или передать задачи субагентам
- Аргумент: речь идет о закрывающих действиях в сценариях с блокировками и передачей задач, а не о задачах в целом.
- Цитата: «Third, coordination protocols remain a universal bottleneck: even frontier models fail over 58% of closing actions, frequently forgetting to release shared locks or hand off tasks to sub-agents.»
Т9. Низкая доля пройденных задач, по Lai и др., не означает полного провала: передовые модели проходят большинство отдельных проверок
- Аргумент: задача считается пройденной, только если модель выполняет все шаги цепочки.
- Цитата: «Because models must satisfy every step in this chain, low pass rates do not mean complete failure: frontier models pass most individual checks (55%-67%), led by GPT-6 Astra at 66.8%.»
- Данные: передовые модели проходят 55-67 % отдельных проверок, лидирует GPT-6 Astra с 66,8 %.
Т10. В мультиагентных конфликтах рост усилия рассуждения, по Lai и др., дает убывающую отдачу или вредит
- Аргумент: на формальных математических бенчмарках вычисления на этапе рассуждения помогают, а здесь переход от низкого усилия к высокому ничего не гарантирует.
- Цитата: «While test-time reasoning compute boosts formal math benchmarks, Table 1 shows that in multi-agent conflict environments, scaling effort from Low to Medium to High yields diminishing returns or hurts performance.»
Т11. Даже на задачах, где рубрика не требует осмотра изображений, слепые агенты сохраняют лишь 11,1-13,1 % проходимости зрячих, и Lai и др. считают визуальные ресурсы решающими, а не декоративными
- Аргумент: слепые агенты сохраняют лишь 11,1-13,1 % проходимости зрячих даже на задачах, где рубрика не требует осмотра изображений.
- Цитата: «Even on tasks where image inspection is not explicitly enforced by the rubric, blind agents retain only 11.1%-13.1% of sighted pass rates (𝑝 < 10 -11 ), confirming visual assets provide decisive rather than decorative evidence (Appendix §F.4).»
- Данные: слепые агенты сохраняют 11,1-13,1 % проходимости зрячих.
Пример
Субагент по устаревшему кэшу сообщает об успешном развертывании и призывает направить рабочий трафик, тогда как живая телеметрия показывает сбои проверок работоспособности; агент, разрешающий конфликт, не может слепо довериться отчету коллеги, должен осмотреть визуальные дашборды и откатить конфигурацию.
Критика
- Lai и др. признают, что семантические проверки опираются на LLM-судью без исследований с людьми. Цитата: «Semantic checks rely on an LLM judge without human studies, mitigated via 3-sample voting and multi-judge validation (𝜌 ≥ 0.98, 𝜅 ≥ 0.90; §4).»
- Они признают, что разрешение конфликта оценивается по логам и следам в рабочем пространстве, а не в живом диалоге. Цитата: «Conflict resolution is evaluated through logs and workspace traces rather than live chatting, ensuring reproducibility while mirroring ticket and review workflows.»
- Они признают, что сценарии охватывают только раунды с конфликтом, без базового уровня без конфликтов. Цитата: «Scenarios focus on conflict rounds without conflict-free baselines, isolating conflict handling via ablation gates (§5.4).»