Yang и др. — Task-State Governance: A Virtual Machine for Verifiable and Recoverable GUI Agent Execution
DOI: 10.48550/arxiv.2610.20100 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)
Вид: статья (препринт arXiv, интерфейс для GUI-агентов и его оценка)
Коротко
Вопрос: что должен контролировать пользователь, когда агент выполняет сложные рабочие процессы в нескольких приложениях: процедуру агента или состояние приложений?
Ответ: по Yang и др., пользователю нужно управлять не процедурой агента, а состоянием мира, которого агент касается; задача при этом представлена как редактируемый контракт, связывающий желаемые результаты, факты, которые нужно сохранить, и наблюдаемое состояние приложений.
Тезисы
Yang и др. спорят с план-центричными интерфейсами агентов, где пользователь следит за процедурой и правит предстоящие шаги.
Т1. По Yang и др., пользователю нужно управлять не процедурой агента, а состоянием мира, которого агент касается
- Аргумент: Yang и др. завершают этим выводом статью: когда агенты способны выполнять сложные рабочие процессы, объектом управления становится состояние мира, которого агент касается.
- Цитата: «As autonomous agents gain the ability to execute complex workflows, the object users must govern is not the agent’s procedure but the state of the world the agent touches.»
Т2. Task-state governance представляет задачу как редактируемый контракт
- Аргумент: Yang и др. вводят эту парадигму взаимодействия в аннотации; контракт связывает три вещи: желаемые результаты, факты, которые нужно сохранить, и наблюдаемое состояние приложений.
- Цитата: «We introduce task-state governance, an interaction paradigm that represents a task as an editable contract linking desired outcomes, facts that must be preserved, and observed application state.»
Т3. Исправленный план сам по себе не говорит, что уже вступило в силу, что защищено и что нельзя отменить
- Аргумент: у плана нет ответа на три вопроса о мире: какие обновления уже сделаны, какие записи должны остаться нетронутыми и какие эффекты уже нельзя отменить.
- Цитата: «A revised plan does not, by itself, say which updates have already taken effect, which records must stay protected, and which effects can no longer be undone.»
Т4. По Yang и др., завершение выполнения никогда не должно подтверждаться самим исполняющим агентом
- Аргумент: Yang и др. называют это основным принципом своей модели управления.
- Цитата: «A core tenet of our governance model is that execution completion must never be self-certified by the executing agent.»
Т5. TaskVM помечает каждое действие как обратимое, компенсируемое или необратимое
- Аргумент: пометка обратимости стоит в списке последней из четырех возможностей прототипа TaskVM, рядом с проекцией живого состояния, исполнением правок как настоящих действий интерфейса и проверкой независимым наблюдением.
- Цитата: «We instantiate this paradigm in TaskVM, which projects live state into editable task controls, executes user edits as genuine interface actions, verifies outcomes through independent observation, and marks each action as reversible, compensatable, or irreversible.»
Т6. При отключенной инъекции навыков TaskVM прошла строгую проверку в 21 из 36 заданий, Direct-CUA — в 18, Planner-CUA — в 17
- Аргумент: Yang и др. называют это основным сравнением при отключенной инъекции навыков; среднее по атомарным предикатам у TaskVM 0,870, у Direct-CUA 0,761, у Planner-CUA 0,737.
- Цитата: «On the skills-OFF main comparison, TaskVM obtained 21/36 strict passes (rate: 0.583) and an atomic predicate mean of 0.870, compared with 18/36 (0.500) and 0.761 for DirectCUA, and 17/36 (0.472) and 0.737 for Planner-CUA.»
Т7. Проверка в TaskVM дает накладные расходы: время работы примерно в 2,2 раза больше, чем у Direct-CUA
- Аргумент: Yang и др. говорят, что эта задержка отражает цикл компиляции состояния туда и обратно и опрос при проверке.
- Цитата: «However, this verification property introduces operational overhead: TaskVM consumed 19,960 seconds of wall time across 1,126 model calls, about 2.2 times the wall time of Direct-CUA, reflecting the latency of round-trip state compilation and verification polling.»
- Данные: у TaskVM 19 960 секунд и 1126 вызовов модели.
Т8. Участники исследования сообщили о значимо более высоком воспринимаемом контроле над восстановлением при TaskVM, чем при диалоговом интерфейсе
- Аргумент: это сообщение самих участников о том, как они воспринимают свой контроль над восстановлением, сравнение идет с диалоговым интерфейсом.
- Цитата: «Participants reported significantly higher perceived recovery control under TaskVM than under the conversational baseline.»
Т9. Субъективное доверие и удовлетворенность после задачи были значимо выше при TaskVM
- Аргумент: Yang и др. относят к значимым различиям в пользу TaskVM и субъективное доверие, и удовлетворенность после задачи.
- Цитата: «Subjective trust and post-task satisfaction were significantly higher under TaskVM.»
Т10. Task-state governance описательно сократил наблюдаемый разрыв между уверенностью и точностью
- Аргумент: наблюдаемый разрыв между уверенностью и точностью описан как сократившийся, и только описательно.
- Цитата: «Task-state governance descriptively reduced the observed confidence-accuracy gap.»
Т11. Откат — одновременно самая востребованная возможность управления и самая трудная для надежной реализации
- Аргумент: Yang и др. называют это продуктивным напряжением между спросом на откат и трудностью сделать его надежным.
- Цитата: «Our evidence also reveals a productive tension: rollback is simultaneously the most demanded governance capability and the hardest to make reliable.»
Пример
Совещание переносят на один день: запись в календаре и объявление команде нужно изменить, а оформленное бронирование перелета должно остаться нетронутым. В середине выполнения коллега может попросить другую дату. Пересмотренный план не покажет, какие обновления уже вступили в силу и какие записи надо защитить.
Критика
- Yang и др. подчеркивают, что различия в оценках контроля относятся к восприятию и использованию элементов управления: в обоих условиях участники смотрели один и тот же воспроизведенный прогон, и разницу нельзя приписать тому, что им показывали. Цитата: «We emphasize that this reflects perceived recovery control and control use; the replayed trajectory the participants watched was identical across conditions, so these differences cannot be attributed to what the two arms showed them.»
- Сокращение разрыва между уверенностью и точностью Yang и др. не считают доказанным улучшением понимания состояния: точность на вопросах проверки они называют лишь указанием направления, а более узкий разрыв описательным уменьшением самоуверенности. Цитата: «Consequently, this probe accuracy stands as directional evidence rather than a statistically confirmed gain in state understanding, and the narrower gap represents a descriptive reduction in overconfidence rather than established calibration.»
- Разницу во времени работы Yang и др. не относят целиком на проверку: в нее входят и другие этапы работы прототипа. Цитата: «This cost distribution cannot be attributed solely to verification: state compilation, dynamic re-projection, and structured execution boundaries all contribute to the measured wall-time gap.»
- Независимая проверка по экрану, по Yang и др., имеет предел: она подтверждает то, что видно на дисплее, но не скрытые состояния бэкенда. Цитата: «However, this relies on an important boundary: visible observations can prove what is rendered on the display, but they cannot strictly prove hidden backend states or atomic transactional assurances across third-party platforms.»
Связи
- Task-state governance — см. также
- Независимая верификация — см. также
- Таксономия обратимости — см. также