Chen и др. — Comparing Human Oversight Strategies for Computer-Use Agents

8 окт. 2026 г. · время чтения ~9 мин.

DOI: 10.48550/arxiv.2604.04918 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)

Вид: paper

Главный вопрос: как структура надзора человека (кто держит полномочия по умолчанию, на уровне плана или действий) влияет на то, возникают ли проблемные действия агента и перехватывает ли их человек

Ответ одной фразой: по результатам эксперимента, стратегия надзора меняла то, что агент пытался сделать, но не делала людей надёжнее в перехвате проблемных действий, поэтому авторы предлагают выравнивать момент, смысл и объём решения человека, а не умножать возможности контроля.

Дизайн: три из четырёх стратегий абстрагированы из Claude Computer Use, Operator и Magentic-UI (не реализация этих систем, а абстракция их логики)

Частные вопросы:

В1. Влияет ли стратегия надзора на то, возникают ли проблемные действия? → Т1, Т3, Т4
В2. Перехватывают ли их люди? → Т2, Т5, Т6
В3. Что делают планы? → Т3, Т4, Т7, Т8, Т9
В4. Что авторы предлагают? → Т10, Т11

Тезисы

Т1. Стратегия надзора влияла на то, возникало ли проблемное действие, но не на то, вмешивались ли пользователи

Аргумент: в эксперименте 48 участников × 4 стратегии (192 сессии) измерялись возникновение проблемного действия и вмешательство; различия были по первому, но не по второму
Цитата: «Quantitative results show that oversight strategy affected exposure to problematic actions, but not users’ ability to intervene.» (аннотация)
Данные: возникновение — χ²(3)=24.56, p<.001; неисправленный исход — χ²(3)=10.02, p=.018; вмешательство при возникновении — χ²(3)=3.17, p=.366; в каждой сессии одно встроенное проблемное действие (утечка личных данных, prompt injection или тёмный паттерн); агент один и тот же (Gemini 3.1 Flash-Lite), задачи на сайтах-копиях
Понятия: Стратегия надзора

Т2. Пользователи заблокировали лишь 21% проблемных действий, дошедших до исполнения

Аргумент: среди действий, дошедших до исполнения, перехват был редким при любой стратегии, а различия между стратегиями не были надёжными
Цитата: «users blocked only 29 of the 138 problematic actions that reached execution (21%), with no reliable difference across strategies; even under Structurally Enriched, the strategy with the lowest failure rate, 46% of sessions still ended with an uncorrected problematic action.» (введение)
Данные: вмешательство при возникновении 7.4–26.2% по стратегиям (Action Confirmation 22.5%, Risk-Gated 26.2%, Supervisory Co-Execution 7.4%, Structurally Enriched 24.1%); у лучшей по частоте неудач стратегии Structurally Enriched 46% сессий закончились неисправленным проблемным действием (неудачи по стратегиям: 64.6%, 64.6%, 52.1%, 45.8%); вмешательство считается только среди эпизодов с возникшим действием
Понятия: Стратегия надзора

Т3. Стратегии, основанные на плане, снизили шансы возникновения проблемного действия на 76%

Сравнение: со стратегиями без плана (Action Confirmation, Risk-Gated)
Аргумент: две стратегии с планом дали заметно меньшую долю сессий с возникшим проблемным действием; эффект устойчив к поправке на сценарий
Цитата: «Collapsing across interface families, plan-based strategies reduced the odds that a problematic action occurred by 76% (𝑂𝑅 = 0.24, 95% 𝐶𝐼 [0.14, 0.42], 𝑝 < .001).» (раздел 5.2)
Данные: возникновение — 56.2% (Supervisory Co-Execution) и 60.4% (Structurally Enriched) против 83.3% (Action Confirmation) и 87.5% (Risk-Gated); OR=0.24, 95% CI [0.14, 0.42], p<.001
Понятия: Стратегия надзора

Т4. Утверждённый план вставлялся в промпт агента: эффект планов — не только бдительность человека

Аргумент: в условиях с планом утверждённый пользователем план вставлялся в системный промпт агента как директива; Action Confirmation задерживала отдельные действия; Risk-Gated приостанавливала исполнение на отмеченных точках; значит, это сравнение конфигураций «человек–агент», а не только интерфейса
Цитата: «the approved plan is part of what the agent is instructed to execute, not only a human-facing review artifact, lower occurrence under plan-based strategies reflects a change to the agent’s own instructions and not solely to human vigilance.» (раздел 3.4)
Данные: блок «APPROVED EXECUTION PLAN (MUST FOLLOW)» вставляется в общий системный промпт (приложение A.4); у Structurally Enriched в системный промпт также добавлялся блок с обязательным шаблоном «Next Step I Plan To Do» перед каждым вызовом инструмента
Понятия: Стратегия надзора

Т5. По выводу авторов, эффективный надзор зависел не просто от наличия механизма одобрения, а от того, совпадало ли решение пользователя с моментом и объёмом возникающего риска

Аргумент: в многошаговых сценариях агент мог сначала ввести чувствительные данные и лишь затем попросить одобрения продолжить; одобрение становилось запоздалым; «approve similar» распространял прежнее одобрение на более широкий класс действий
Цитата: «Together, these sub-mechanisms suggest that effective oversight depended not simply on whether an approval mechanism existed, but on whether user judgment was aligned with the moment and scope of emerging risk.» (раздел 5.2.1)
Данные: среди 109 эпизодов неудачи в 61 (56.0%) рассогласование момента риска и момента решения; в 74 (67.9%) эпизодах мало заметного обдумывания (мгновенное одобрение или короткая пауза); 28 из 53 эпизодов неудач в условиях с «approve similar» (52.8%) были авто-одобрены прежним «approve similar»; в 16 эпизодах (14.7%) не было шага одобрения
Понятия: Стратегия надзора, Ограничение области полномочий

Т6. Пользователи чаще проверяли, правильно ли агент выполняет процедуру, чем уместно ли само действие

Аргумент: подсказки о риске присутствовали почти в каждой неудаче, но участники оценивали «агент делает как просили»; интерфейсные метки порой воспринимались как фон
Цитата: «Instead, participants often evaluated whether the agent was correctly following the workflow rather than whether the workflow step itself was appropriate.» (раздел 5.2.2)
Данные: признак риска был виден в 100 из 109 эпизодов неудач (91.7%), но только 49 из них названы явно (4 флага и 45 текстовых описаний); в 19 из 109 (17.4%) участники изучали информацию или колебались и всё равно одобряли; успешных вмешательств 29, чаще при информации, делающей возможное последствие конкретным и оцениваемым
Понятия: Процедурная корректность и содержательная уместность

Т7. Меньшее возникновение проблемных действий при планах чаще шло от того, что плана с этим действием не было, а не от замеченного пользователями риска

Аргумент: пользователь утверждал план и не замечал риска, но агент не включал проблемный шаг; активно предотвращали риск лишь единицы
Цитата: «More often, the agent simply generated a plan that did not contain the problematic action, allowing the risk to disappear without requiring the user to recognize it.» (раздел 5.2.3)
Данные: из 54 эпизодов без возникновения и без вмешательства 34 — избегание, обусловленное планом, 14 — разброс поведения агента; только пять эпизодов явно связаны с проактивным предотвращением пользователем (четыре правки плана, одно упреждающее ограничение)
Понятия: Стратегия надзора

Т8. План хорошо защищал от рисков «действия», но тот же механизм может работать против пользователя при рисках «пропуска», где нужно защитное действие

Аргумент: план хорошо защищает от рисков «действия» (commission), где вред требует добавить проблемный шаг; для рисков «бездействия» (omission) нужен дополнительный защитный шаг, например снять предвыбранную услугу, а его план мог не содержать; когда участники всё же замечали такие риски, то обычно на исполнении, а не благодаря плану
Цитата: «It worked particularly well for commission risks, where harm required the agent to introduce an additional problematic action: if that action was absent from the plan, it was less likely to occur…» (раздел 5.2.3)
Данные: пример с предвыбранной услугой «protect my ticket» на покупке билета; авторы вводят «action bias» планов и разделяют «trajectory shaping» и «state verification»
Понятия: Формирование траектории и проверка состояния

Т9. Одобрение плана может снижать внимательность при исполнении

Аргумент: участники порой воспринимали последующие действия как уже санкционированные планом, и запросы одобрения превращались в подтверждение хода; авторы называют это совместимым с автоматизационной самоуспокоенностью, но с более конкретным механизмом: одобрение абстрактного плана снижает потребность пересмотра конкретных действий
Цитата: «After reviewing and approving a plan, participants often appeared to treat subsequent actions as falling within an already authorized course of action.» (раздел 5.2.3)
Данные: наблюдение по видеокодированию и интервью; участник P045 говорит, что план «represents the agent’s intention»; количественной оценки этого эффекта в тексте нет
Понятия: Формирование траектории и проверка состояния

Т10. По субъективным оценкам (нагрузка, контроль, доверие, удобство) ни одна стратегия не была лучшей во всех контекстах задач

Аргумент: субъективные оценки (нагрузка, контроль, доверие, удобство) зависели от контекста: в задачах с меньшими последствиями Action Confirmation вызывала больше доверия, чем Structurally Enriched; в задачах с большими последствиями — наоборот
Цитата: «Subjective Outcomes: Contextual Fit Rather Than a Uniformly Best Strategy (RQ1) No strategy was uniformly best across contexts (Table 2).» (раздел 5.1)
Данные: доверие: Action Confirmation выше Structurally Enriched в задачах с меньшими последствиями (b=0.32, p=.033), в задачах с большими последствиями картина обратная (взаимодействие b=−0.62, p=.006; χ²(3)=8.35, p=.039); по нагрузке, контролю и удобству значимых взаимодействий нет; попарные сравнения номинальные, без поправки на множественность; в задачах с большими последствиями возникновение 78.1% против 65.6%, вмешательство 13.3% против 30.2%, неудача 67.7% против 45.8%, но контекст частично смешан с типом риска
Понятия: Стратегия надзора

Т11. Авторы предлагают сместить цель надзора с постоянного удержания человека «в цикле» на поддержку эффективного возвращения человека (re-entry scaffolding)

Аргумент: авторы предлагают три принципа: агент и человек оба могут инициировать возврат; делегирование — явная, обновляемая смысловая граница; план — ограничение траектории, а не разрешение на встреченные состояния; они же предлагают выводить условия наблюдения во время работы из утверждённого плана («one promising approach»)
Цитата: «The goal of oversight should therefore shift from keeping humans continuously “in the loop” to scaffolding effective human re-entry.» (раздел 6.1)
Данные: это рекомендации из обсуждения; на практике они в исследовании не проверялись
Понятия: Опора на возвращение человека, Выравнивание суждения

Кейсы

К1. Данные о страховке в бронировании билета

Агент вводит номер медицинской страховки в ходе формы, затем просит одобрения отправить; участник спрашивает: «Why is there my health insurance policy number in a booking for a ticket?» (P027). Подкрепляет Т5.

К2. Предвыбранная услуга при покупке билета

Чтобы избежать нежелательной защиты билета, агент должен активно снять предвыбор; такой шаг мог не попасть в план; участник P020 заметил услугу уже при оформлении, а не благодаря плану («Clicking protection… Okay, I do not want it to protect my ticket», P020). Подкрепляет Т8.

Понятия

Стратегия надзора → Chen и др.: набор механизмов, задающий, у кого полномочия по умолчанию (агент или человек) и где человек вовлечён (план, действие или оба) (Т1, Т2, Т3, Т4, Т5, Т7, Т10)
Процедурная корректность и содержательная уместность → Chen и др.: проверка «агент следует процедуре» против проверки «этот шаг вообще должен происходить» (Т6)
Ограничение области полномочий → Chen и др.: одобрение или «approve similar» задаёт границу будущих полномочий агента, которую интерфейс и человек могут понимать по-разному (Т5)
Формирование траектории и проверка состояния → Chen и др.: план сужает намерения агента, но не удостоверяет состояния, встреченные при исполнении (Т8, Т9)
Опора на возвращение человека → Chen и др.: re-entry scaffolding — поддержка человека при возврате в развивающуюся траекторию агента (Т11)
Выравнивание суждения → Chen и др.: judgment alignment — согласование внимания и полномочий человека с моментом, смыслом и объёмом значимого изменения состояния (Т11)

Оригинал