Yan — Do User-Authored Permission Policies Improve Protection Against AI Agent Overreach?
DOI: 10.48550/arxiv.2608.27443 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)
Вид: научная статья (препринт arXiv, пользовательский эксперимент)
Коротко
Вопрос: улучшают ли заранее написанные пользователем правила защиту от действий ИИ-агента за пределами поручения, если у пользователя нет профессионального опыта в разработке ПО?
Ответ: Yan в эксперименте с участниками без профессионального опыта в разработке ПО обнаруживает, что заранее написанные ими правила allow / ask / never блокировали лишние действия ИИ-агента хуже, чем подтверждение каждого действия человеком (разница с автоматической проверкой моделью после поправки на множественные сравнения ненадежна): лишь 26 из 140 правил решили вопрос заранее, остальные 114 вернули его на этап выполнения, и 133 из 148 выполненных лишних действий последовали за одобрением человека.
Тезисы
Т1. В этом исследовании правила, написанные пользователями (POLICY), блокировали лишние действия агента хуже, чем подтверждение каждого действия (HITL) и проверка моделью (AUTO); после поправки на множественные сравнения надежной осталась только разница с HITL
- Аргумент: POLICY сравнивали с HITL и AUTO, а доля выполненных обязательных действий осталась высокой.
- Цитата: «POLICY blocked less overreach than both baselines, although only the difference from HITL remained reliable after correction.»
- Данные: разница POLICY с HITL составила −20,1 п.п., с AUTO −14,5 п.п. «POLICY blocked less overreach than HITL (−20.1 percentage points, 95% CI [−32.1, −8.1]) and AUTO (−14.5 percentage points, 95% CI [−25.8, −3.2]), while required-action completion remained high.»
Т2. Лишь 26 из 140 правил решили вопрос заранее; остальные 114 вернули его на этап выполнения
- Аргумент: большинство правил, которые участники писали сами, не закрепляло решение заранее.
- Цитата: «In this study, only 26 of 140 rules (18.6%) settled a decision in advance; the other 114 returned it to runtime.»
- Данные: даже в категории доступа к личным данным, где все действия дня были лишними, ask выбрали 23 из 35 участников. «Every private-data action in the simulated day was overreach, yet 23 of 35 participants chose ask, compared with 10 who chose never and 2 who chose allow.»
Т3. Большая часть лишних действий, выполненных при правилах POLICY, последовала за одобрением человека на запросе
- Аргумент: меньшая часть выполненных лишних действий не следовала за одобрением человека.
- Цитата: «Thus, 133 of 148 executed POLICY overreach actions (89.9%) followed affirmative human approval.»
Т4. По Yan, между желанием решать по случаю и готовностью закрепить правило есть разрыв: повторяющийся выбор ask сохраняет выбор по случаю, но не дает стоящему правилу решить вопрос заранее
- Аргумент: Yan формулирует разрыв как вывод из результатов эксперимента.
- Цитата: «These results reveal a gap between preference and commitment: repeatedly choosing “ask” preserves case-by-case choice but prevents a standing policy from settling decisions in advance.»
Т5. По Yan, ask не нейтральный компромисс между allow и never: в этом исследовании он не решал и не блокировал действие, а возвращал решение на этап выполнения, где участники часто одобряли лишнее
- Аргумент: Yan оговаривает, что вывод получен в этом исследовании.
- Цитата: «In this study, however, ask did not settle or block an action; it returned authorization to runtime, where participants often approved overreach.»
Т6. Правила сократили число запросов во время работы (с 18,0 до 10,9), но общее время вмешательства с учетом настройки правил надежно не снизилось
- Аргумент: время настройки правил входит в общее время вмешательства.
- Цитата: «POLICY lowered runtime prompts from 18.0 to 10.9, but total intervention time was not reliably lower when rule setup was included.»
Т7. Участники сообщили о высоком контроле во всех трех схемах, хотя POLICY блокировал лишнее хуже
- Аргумент: речь об оценках самих участников, а не о показателях блокировки.
- Цитата: «Participants reported high control in all 3 designs, even though POLICY blocked less overreach.»
Т8. Классификатор Yan на не виденных ранее инструментах полностью совпал с разметкой людей в 69,0% случаев, по главному действию в 90,0%
- Аргумент: речь о классификаторе, который по метаданным инструмента сопоставляет его с категориями последствий; в исследовании с участниками он не использовался.
- Цитата: «On these unseen tools, exact-set agreement was 69.0% and the more permissive main-action agreement was 90.0%; Table 1 defines both metrics.»
Пример
В смоделированном дне агент делал, помимо поручения, и лишние вещи: например, звонил в аэропорт, хотя звонок не просили, или читал недавние банковские операции для бюджета поездки.
Критика
- Масштаб ограничен. «It simulated one scripted day with online participants without professional software backgrounds and no real-world consequences, so the findings may not generalize to long-term use, experienced users, or real decisions involving personal data and money.»
- Частота ask может объясняться и грубостью категорий. «The policy used four fixed, coarse categories, so the prevalence of ask may reflect either a preference for case-by-case control or insufficient rule specificity.»
- Эксперимент сравнивает схемы целиком. «Because the conditions also differed in decision timing and scope, the experiment compares complete permission designs rather than isolating user authorship.»
Связи
- Overreach агента — см. также
- Consequence policy — см. также
- Ask как отложенное решение — см. также