Намеренная непрочитанность · ILUОпережающее любопытство

Yang и др. — SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering

8 окт. 2026 г. · время чтения ~7 мин.

DOI: 10.48550/arxiv.2405.15793 · Цитируется: 260 (OpenAlex, на 26 окт. 2026 г.)

Вид: paper

Главный вопрос: как устройство интерфейса между языковой моделью и компьютером влияет на работу агента-программиста при фиксированной модели

Ответ одной фразой: по мнению авторов, при фиксированных весах модели то, какие команды у неё есть и как ей возвращается обратная связь, может заметно менять результат агента.

Частные вопросы:

  • В1. Что даёт специально построенный интерфейс при неизменных весах? → Т1, Т2, Т8
  • В2. Какие свойства интерфейса важны? → Т3, Т4, Т5, Т6, Т7
  • В3. Где агент всё равно ошибается? → Т9

Тезисы

Т1. Авторы полагают, что LM-агенты — новая категория конечных пользователей со своими потребностями и способностями, которой пошли бы на пользу специально построенные интерфейсы

  • Против: интерфейсы, созданные для людей, как единственный способ работы агента с компьютером
  • Аргумент: у людей и моделей разные способности и ограничения: нынешним моделям не хватает зрительного понимания, чтобы напрямую работать с графическими приложениями с богатыми визуальными элементами, любое содержимое имеет фиксированную цену в памяти и вычислении, отвлекающий контекст может вредить; значит, интерфейс, учитывающий эти различия, может быть эффективнее (авторы пишут «may be more effective»)
  • Цитата: «we posit that LM agents represent a new category of end users with their own needs and abilities, and would benefit from specially-built interfaces to the software they use.» (аннотация)
  • Понятия: Интерфейс агент–компьютер

Т2. Продуманный ACI может заметно улучшить работу агента, не меняя веса модели

  • Против: оболочка Linux как есть (Shell-only)
  • Аргумент: авторы фиксируют LM и меняют только действия, их документацию и обратную связь среды; на SWE-bench результат растёт
  • Цитата: «First, we introduce the concept of the agent-computer interface (ACI) and demonstrate how careful ACI design can substantially improve LM agent performance without modifying the underlying LM’s weights.» (введение)
  • Данные: GPT-4 Turbo в SWE-agent решает 12.47% (286/2,294) задач полного тестового набора SWE-bench и 18.00% (54/300) Lite; Shell-only с GPT-4 Turbo на Lite — 11.00% (по таблице 1), авторы пишут о «64% relative increase»; прежний лучший результат по полному набору — 3.8% (неинтерактивная система с поиском по репозиторию, RAG); бюджет на задачу $4
  • Понятия: Интерфейс агент–компьютер

Т3. Обратная связь среды, по авторам, должна давать агенту существенные сведения о состоянии среды и эффекте его последних действий без лишних деталей

  • Аргумент: принципы выведены ручным разбором поведения агента и поиском по сетке на dev-части; авторы пишут, что принципы «seem especially important»; простые команды с небольшим числом опций «reduce the need for demonstrations or fine-tuning»; важные операции нужно собрать в минимум действий, чтобы не складывать их из многих ходов
  • Цитата: «High quality feedback should provide the agent with substantive information about the current environment state (and the effect of the agent’s recent actions) without unnecessary details.» (раздел 2)
  • Данные: принципы «Actions should be simple and easy to understand for agents», «Actions should be compact and efficient», «Environment feedback should be informative but concise», «Guardrails mitigate error propagation and hasten recovery»
  • Понятия: Интерфейс агент–компьютер, Ограждение

Т4. Компактное редактирование файла одной командой, по мнению авторов, критично для результата

  • Против: правка через оболочку (перенаправление вывода, sed)
  • Аргумент: в No edit агент переписывает файл целиком или правит sed без немедленного отклика о результате; единая команда edit плюс автоматически обновляемый просмотр файла сворачивает этот процесс в одно действие
  • Цитата: «Compact, efficient file editing is critical to performance.» (раздел 5.1)
  • Данные: SWE-bench Lite, GPT-4 Turbo: edit с линтером 18.0%, без редактора (No edit) 10.3% (−7.7); окно просмотра 100 строк — 18.0%, 30 строк — 14.3% (−3.7), весь файл — 12.7% (−5.3)
  • Понятия: Интерфейс агент–компьютер

Т5. Встроенная проверка правок (линтер) может помочь агенту заметить и быстро исправить ошибку

  • Аргумент: агент нередко повторно правит один и тот же фрагмент после ошибочной правки; невалидная правка отклоняется, агент видит текст до и после и просит повторить
  • Цитата: «Building in guardrails, such as a code syntax checker that automatically detects mistakes, can help agents recognize and quickly correct errors.» (раздел 2)
  • Данные: без линтера 15.0% против 18.0% с линтером на Lite (−3.0); у 1,185 из 2,294 траекторий (51.7%) SWE-agent с GPT-4 Turbo есть хотя бы одна неудачная правка; вероятность, что попытка правки в итоге успешна, — 90.5%, а после одной неудачной правки — 57.2%
  • Понятия: Ограждение

Т6. Интерфейс, скопированный с человеческого UI, не всегда подходит агенту: показ результатов поиска по одному оказался хуже отсутствия поиска

  • Против: человеческие UI как готовые ACI (итеративный поиск «как в Vim или VSCode»; цепочки cd, ls, cat в оболочке)
  • Аргумент: при большом числе результатов агенты склонны просматривать каждое совпадение командой next; это расходует бюджет или окно контекста; сводный поиск показывает все результаты сразу и просит уточнить запрос, если их слишком много
  • Цитата: «Human user interfaces are not always suitable as agent-computer interfaces.» (раздел 5.1)
  • Данные: SWE-bench Lite, GPT-4 Turbo: сводный поиск (Summarized) 18.0%, без поиска 15.7% (−2.3), итеративный поиск 12.0% (−6.0); поиск возвращает не более 50 результатов
  • Понятия: Интерфейс агент–компьютер

Т7. Контекст агента удерживается коротким: старые наблюдения сворачиваются в одну строку

  • Аргумент: наблюдения старше последних 5 сворачиваются в одну строку, повторные сообщения об ошибках кроме первого убираются; так остаётся информация о плане и истории действий, но меньше лишнего и устаревшего содержимого
  • Цитата: «To further improve context relevance, observations preceding the last 5 are each collapsed into a single line, shown in Figure 31.» (раздел 3)
  • Данные: Lite, GPT-4 Turbo: «Last 5 Obs.» 18.0%, полная история 15.0% (−3.0), без демонстрации 16.3% (−1.7)
  • Понятия: История наблюдений

Т8. ACI, разработанный под GPT-4 Turbo, перенёсся на Claude 3 Opus с меньшим результатом

  • Аргумент: авторы сообщают результат второй модели; Llama 3 и DeepSeek Coder показали в агентном режиме «subpar» результат, в том числе из-за малого окна контекста (8k у Llama 3)
  • Цитата: «Although our ACI was developed for GPT-4 Turbo, we show that it is portable to a different LM; SWE-agent with Claude 3 Opus can solve 10.5% of the benchmark tasks.» (введение)
  • Данные: Claude 3 Opus — 10.46% на полном SWE-bench и 13.00% на Lite (таблица 1); авторы пишут (раздел 4), что результаты, абляции и анализ основаны на двух моделях; абляции в 5.1 и анализ неудач приведены для GPT-4 Turbo
  • Понятия: Интерфейс агент–компьютер

Т9. Среди нерешённых задач SWE-agent (GPT-4 Turbo, SWE-bench Lite) по автоматической разметке около половины (52.0%) — неверная или слишком частная реализация

  • Аргумент: неразрешённые траектории SWE-agent (GPT-4 Turbo, Lite, n=248) размечены автоматически по 9 категориям; авторы пишут «suggesting», что предложенные решения часто просто не решают задачу или недостаточно общие
  • Цитата: «From Figure 8, about half (52.0%) of unresolved instances fall into the Incorrect Implementation or Overly Specific Implementation categories, suggesting that agents’ proposed solutions often simply fail to functionally address the issue or are insufficiently general solutions.» (раздел 5.2)
  • Данные: разметку делал GPT-4o, на размеченной вручную выборке его оценка совпадает с авторской у 87% случаев; каскад неудачных правок — 23.4%; успешные запуски в среднем короче и дешевле (медиана $1.21 и 12 шагов против среднего $2.52 и 21 шага у неудачных); авторы «suspect», что увеличение бюджета вряд ли заметно поднимет результат
  • Понятия: Ограждение

Кейсы

К1. Правка в задаче sympy__sympy-24102 (рисунок 6)

В режиме без линтера агент вносит правку с лишней скобкой и дальше тратит ходы на исправление собственной ошибки. С «LM-centric» правкой система блокирует правку с синтаксической ошибкой, показывает файл до и после и просит исправить команду; агент исправляет её. Подкрепляет Т5.

К2. Поиск в задаче pvlib__pvlib-python-1224 (рисунок 5)

В Shell-only агент ищет через ls и cd; при итеративном поиске нажимает next многократно; при сводном поиске получает список совпадений с рекомендацией уточнить запрос. Подкрепляет Т6.

Понятия

  • Интерфейс агент–компьютер → Yang и др.: слой между языковой моделью и компьютером, задающий команды, их документацию и формат обратной связи; подбирается под фиксированную модель (Т1, Т2, Т3, Т4, Т6, Т8)
  • Ограждение → Yang и др.: встроенная проверка (например, линтер), которая отклоняет ошибочную правку и показывает агенту результат (Т3, Т5, Т9)
  • История наблюдений → Yang и др.: накопленные предыдущие ответы среды, сворачиваемые правилами системы, чтобы контекст оставался коротким (Т7)

Оригинал