Grunde-McLaughlin и др. — Overseeing Agents Without Constant Oversight: Challenges and Opportunities

8 окт. 2026 г. · время чтения ~6 мин.

DOI: 10.48550/arxiv.2602.16844 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)

Вид: paper

Главный вопрос: как способ показа действий агента (трассы) влияет на то, находит ли человек ошибки в работе агента, использующего компьютер

Ответ одной фразой: по результатам трёх небольших исследований, стандартная трасса шагов, по оценке авторов, многословна и громоздка, сводка процесса может подталкивать к излишней вере, а интерфейс, ускоривший поиск ошибок, не улучшил точность, но повысил уверенность.

Частные вопросы:

В1. Что не так с обычным показом шагов? → Т1, Т2, Т4
В2. Что дал новый интерфейс? → Т3, Т7
В3. Как люди проверяют на деле? → Т5, Т6
В4. Что предлагают дальше? → Т8

Тезисы

Т1. Нынешняя трасса действий агента, по результатам формативного исследования, многословна, и участники пропускали мелкие, но значимые ошибки

Аргумент: 12 участников выполняли на Magentic-UI три задачи параллельно и собственную; трасса включает текст плана, каждое действие, промежуточные сводки и скриншоты; участники называли её многословной и повторяющейся
Цитата: «We found that the current trace design is verbose, cumbersome, and timeconsuming, with participants missing small but impactful errors.» (введение)
Данные: формативное исследование n=12; пара «человек–агент» неверно выполнила одну из девяти попыток в задаче 1 (корзина пиццы), пять из десяти в задаче 2 (сбор рецептов) и десять из двенадцати в задаче 3 (расчёт абонементов); в одном случае журнал сообщал о трёх позициях в корзине, а в браузере было две, участник поверил журналу; корректность определялась «щедро», по умолчанию принимались выбранные агентом значения
Понятия: Трасса действий агента

Т2. Сводка процесса сокращает многословие, но участники порой принимали неверный итог из-за «разумного» процесса

Аргумент: в пробах дизайна участники оценивали уже завершённую задачу; при акценте на процесс (Flowchart) точность по неверным ответам была ниже, при акценте на исход (Spec) выше; авторы осторожно оговаривают, что выборка не была сбалансирована по задачам
Цитата: «In the most salient trend of overreliance, participants explained that they thought an incorrect outcome was correct because the process seemed reasonable [P2, P4, P7, P8, P10, P11].» (раздел 4.3.2)
Данные: исследование проб n=12, исследовательское, по две неверные и одной верной задаче на метод; точность на неверных ответах: Flowchart 39.13%, Citation 52.17%, Spec 65.22%; по всем ответам 57.14%, 62.86% и 77.14%; среднее время 390.51 с, 389.94 с, 524.84 с; все участники хотя бы в одной задаче сочли процесс недостаточным для вывода о верности
Понятия: Излишняя вера в разумный процесс

Т3. Интерфейс со спецификацией ускорил поиск ошибок, но не улучшил точность и повысил уверенность

Аргумент: в контролируемом исследовании (n=12, внутрисубъектное, Wizard-of-Oz, GPT-5 в Magentic-UI) сравнили базовую трассу с лечением: требования с отметками выполнено, неизвестно или противоречит, допущения агента, ссылки на скриншоты и сайты; авторы пишут, что заметного эффекта на точность нет (g=0.18), а рост уверенности наибольший, когда ответ неверен, но участник счёл его верным
Цитата: «Conversely, our proposed design reduced the time participants spent finding errors. However, although participants reported higher levels of confidence in their decisions, their final accuracy was not meaningfully improved.» (аннотация)
Данные: n=12, у каждого оба условия, по 4 выхода на условие (2 верных, 2 неверных); точность 72.92% (базовое) против 77.08% (лечение), Hedges g=0.18; время g=−0.29 в целом и g=−0.65 при правильно найденной ошибке (95% CI [−1.54, 0.12]); уверенность g=0.56, а при неверном ответе, принятом за верный, g=0.85 (95% CI [0.01, 1.88]); авторы отмечают низкую мощность и сообщают размеры эффекта, не значимость
Понятия: Трасса действий агента, Излишняя вера в разумный процесс

Т4. В задаче 3 агент, не найдя детскую цену, сам её оценивал (6 случаев); заметила половина участников (3), и они не пришли к верному ответу

Аргумент: агент достраивал недостающее условие задачи (цена для ребёнка); участники замечали это лишь отчасти; те, кто заметил, не пришли к верному ответу
Цитата: «Most commonly, the CUA estimated the youth price when it could not find it (n=6), although only half of the participants noticed (n=3), and those who noticed did not determine the correct answer.» (раздел 3.3.3)
Данные: в задаче 3 из двенадцати завершённых попыток десять были неверными; только двое участников заметили, что агент предположил отсутствие резидентства в штате (один из них — потому что Magentic-UI запросил, другой — случайно наблюдал в нужный момент); три участника, заметившие разные цены по дням, хотели применить разные расчёты
Понятия: Допущения агента

Т5. У участников критерии корректности часто были субъективными и менялись по ходу работы агента

Аргумент: участники вносили предпочтения в план, меняли цели после частичного результата, считали «достаточно хорошим» неполный результат; авторы отсюда выводят, что проверка человеком, вероятно, останется нужной
Цитата: «Finally, users often had a subjective and wandering sense of “correctness” as the CUA progressed in completing the task, such that user review is likely to remain a critical practice even as models improve.» (введение)
Данные: формативное исследование n=12; пример: P1 получил пять из шести нужных рецептов тунца и сказал, что это «probably good enough»; авторы отмечают, что большинство бенчмарков агентов предполагают один правильный ответ
Понятия: Меняющиеся критерии корректности

Т6. Стратегии проверки у участников различались: они предпочитали признаки ошибок в итоговом выводе, пробы и ошибки и визуальный просмотр

Аргумент: стратегии проверки были разными (от беглой проверки до тщательной); многие участники сосредотачивались на финальном результате или проверяли лишь при подозрительном признаке; некоторые, заметив проблему, решали не проверять
Цитата: «Participants employ varied verification strategies, preferring error indications in the final output, trial and error testing, and visual review.» (раздел 3.3.4)
Данные: формативное исследование n=12; на итог сосредоточены P5, P6, P7, P11; проверяли при подозрительном признаке P1, P3, P8, P10; сомневались в процессе, но не проверяли P5, P9, P12; в контролируемом исследовании участники чаще проверяли то, что очевидно (расчёты, соответствие скриншота и текста), и пропускали ошибки в других частях процесса
Понятия: Трасса действий агента

Т7. Допущения агента, показанные в интерфейсе, участники хвалили и использовали для поиска ошибок

Аргумент: в пробах дизайна допущения шли вместе с требованиями в Spec; участники просили видеть альтернативные пути и то, чего агент не нашёл
Цитата: «Participants highly praised assumptions [P1, P3, P4, P5, P9, P10] and used them to find errors [P3, P5].» (раздел 4.3.3)
Данные: n=12; шесть из двенадцати хвалили допущения, двое использовали их для поиска ошибок; в контролируемом исследовании многие участники называли требования опорой при проверке (P1, P2, P3, P5, P6, P9)
Понятия: Допущения агента

Т8. Авторы ожидают, что вопрос пользователю по каждому решению агента его перегрузит

Аргумент: многие допущения возникают в точках, которые нельзя предсказать при совместном планировании; уточняющие вопросы во время работы участники оценили положительно, но спрашивать обо всём, по ожиданию авторов, было бы слишком; авторы называют это направлением дальнейшей работы (пороги прерывания)
Цитата: «However, we expect that asking a clarifying question for all decisions made, such as whether a certain source is trustworthy, would be overburdening.» (раздел 6.3)
Данные: ожидание авторов, в исследовании не проверялось
Понятия: Допущения агента

Кейсы

К1. Число позиций в корзине (задача 1, формативное исследование)

Участник P5 попросил добавить в корзину гавайскую пиццу; агент добавил также чесночные булочки и картофель фри. Журнал сообщал о трёх позициях, а в браузере было две; участник поверил журналу. Подкрепляет Т1.

К2. Цена для ребёнка (задача 3, формативное исследование)

Агент оценил цену детского билета, не найдя её; из шести таких случаев заметили трое, и они не пришли к верному ответу. Подкрепляет Т4.

Понятия

Трасса действий агента → Grunde-McLaughlin и др.: информация о прогрессе агента, показанная пользователю (план, действия, сводки, цитаты, скриншоты) (Т1, Т3, Т6)
Излишняя вера в разумный процесс → Grunde-McLaughlin и др.: участники принимали неверный итог, потому что процесс агента казался логичным (Т2, Т3)
Допущения агента → Grunde-McLaughlin и др.: решения, влияющие на итог, которые трудно задать заранее; в новом интерфейсе показаны списком (Т4, Т7, Т8)
Меняющиеся критерии корректности → Grunde-McLaughlin и др.: личное, меняющееся по ходу работы понимание «правильного» (Т5)

Оригинал