Намеренная непрочитанность · ILUОпережающее любопытство

Уровни автономии ИИ-агентов

1 нояб. 2026 г. · время чтения ~5 мин.

Также называют: Уровни автономии агентов, Levels of Autonomy for AI Agents, Levels of automation, Уровни автоматизации, Шкала Шеридана.

Коротко

Feng, McDonald и Zhang определяют автономию ИИ-агента как степень, в которой он спроектирован действовать без участия пользователя, и задают пять уровней по роли пользователя: оператор, участник совместной работы, консультант, утверждающий, наблюдатель. Для автоматизации вообще Parasuraman, Sheridan и Wickens описывают шкалу из десяти уровней, где выше — больше автономии компьютера над действием человека.

Суть

Feng и соавторы утверждают, что уровень автономии агента можно рассматривать как проектное решение, отдельное от его возможностей и среды. Способный агент может действовать с низкой автономией, если обязан советоваться с пользователем перед каждым действием. Пять уровней у них такие:

  • Уровень 1, оператор. Пользователь ведет все время, а агент помогает по запросу; агент не действует, пока его явно не вызвали.
  • Уровень 2, участник совместной работы. Агент и пользователь вместе планируют, делегируют и выполняют задачи.
  • Уровень 3, консультант. Агент берет инициативу в планировании и выполнении задач на длительном горизонте, а пользователь дает обратную связь, предпочтения и общее направление, а не работает вместе с агентом руками. В отличие от уровня 2, у пользователя может не быть механизма прямо перехватить управление.
  • Уровень 4, утверждающий. Пользователь обязан взаимодействовать с агентом только при препятствии, которое агент не может разрешить сам; к таким препятствиям Feng и соавторы относят подпись под значимыми действиями.
  • Уровень 5, наблюдатель. Это полностью автономный агент, которому не требуется участие пользователя и у которого нет средств для такого участия. Пользователь может следить за ним по журналу, но не может давать вводные и менять ход его работы. Feng и соавторы: «The only control mechanism available to the user is an emergency off-switch that shuts off all agent activity.»

Больше автономии, по Feng и соавторам, не означает просто лучшего агента.

В трактовке Parasuraman и соавторов автоматизация — полная или частичная замена функции, которую раньше выполнял оператор-человек. Она не сводится к выбору между полной ручной работой и полной автоматизацией, а допускает непрерывность уровней. Они предлагают четыре класса функций, которые можно автоматизировать: получение информации, анализ информации, выбор решения и действия, исполнение действия; в одной системе уровни разных классов могут различаться. Шкала из десяти уровней относится в основном к выбору решения и действия и идет от систем, которые рекомендуют действия, к системам, которые их исполняют. На уровне 2 система дает человеку несколько вариантов, но не влияет на выбор. На уровне 4 компьютер предлагает одно решение, а человек сохраняет право исполнить его или выбрать другое. На уровне 6 у человека есть ограниченное время на вето. Основные критерии оценки типов и уровней автоматизации у них — последствия для работы человека. Высокий уровень автоматизации выбора решения может быть оправдан там, где у оператора нет времени ответить. Если же от человека иногда ждут перехвата управления при нештатных обстоятельствах, высокие уровни автоматизации решений, по их анализу, могут не подойти.

Yang и соавторы понимают автономию как степень, в которой система может планировать и выполнять действия за пользователя при минимальном вмешательстве человека. Уровней они не вводят и измеряют автономию двух продуктов Perplexity. В сопоставленных парах сессии Computer занимают в среднем 26 минут против 33 секунд у Search, в 48 раз дольше. Еще одним показателем автономии они считают то, сводит ли Computer в одну сессию много вызовов внешних инструментов через MCP или API: хотя бы один вызов коннектора есть в 7,9% сессий Computer против 1,8% сессий Search. Паузу ради запроса к пользователю на уровне сессий делают 38% сессий Computer против 0,8% Search; среди пауз преобладают запросы одобрения (24,2% сессий). Остановку пользователем содержат 3,7% сессий Computer и 3,4% сессий Search, и Yang и соавторы заключают, что автономному выполнению в основном доверяют довести работу до конца после запуска.

Пример

По Parasuraman и соавторам, система, которая сообщает авиадиспетчеру о конфликте траекторий двух самолетов и предлагает решение, — это уровень 4. На уровне 6 и выше система сама исполнила бы свое решение, если диспетчер не вмешается. На 2000 год Parasuraman и соавторы относят действующую систему предупреждения о близости земли к уровню 4: рекомендуется один маневр, но пилот может его игнорировать. Предложенная система автоматического предотвращения столкновения с землей для боевых самолетов определена как уровень 7.

Отличие от близких понятий

  • Автономия и агентность. Feng и соавторы различают их как два разных рычага управления агентом. По ним, поиск одобрения относится скорее к автономии, а изменение среды через инструменты — к агентности.
  • Автономия и способность. Feng и соавторы считают уровень автономии проектным решением, отдельным от возможностей агента; способный агент может работать на низком уровне.
  • Автономия агента и автоматизация. Шкала Parasuraman и соавторов описывает автоматизацию функций в человеко-машинных системах; пять уровней Feng и соавторов заданы ролью пользователя при работе с ИИ-агентом.

Критика

  • Parasuraman и соавторы сами называют пределы модели: они не задали явно число уровней для остальных типов автоматизации, и пока мало опытов, прямо сравнивающих влияние разных уровней автоматизации сбора и анализа информации на работу человека. Они также не обсуждали, как взвешивать относительные выгоды и издержки для работы человека.
  • Feng и соавторы пишут, что риски агентов уровня 5 в большинстве случаев могут перевешивать выгоды, а простые ошибки без вмешательства пользователя могут накапливаться на многих шагах.
  • Для уровня 4 Feng и соавторы указывают, что отстраненность пользователя может снижать тщательность одобрения и приводить к непреднамеренным одобрениям; кроме того, такие агенты приносят повышенные риски безопасности из-за хранения чувствительных данных, например учетных данных пользователя.

Связи

Источники