Намеренная непрочитанность · ILUОпережающее любопытство

Gu и др. — What Do Agents Learn from Trajectory-SFT: Semantics or Interfaces?

8 окт. 2026 г. · время чтения ~4 мин.

DOI: 10.48550/arxiv.2602.01611 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)

Вид: paper

Главный вопрос: что даёт агенту дообучение на траекториях: понимание смысла инструментов или привязку к форме интерфейса

Ответ одной фразой: авторы показывают на 16 средах AgentBench и AgentGym, что дообучение на траекториях может частично давать привязку к форме интерфейса, и степень привязки зависит от среды.

Тезисы

Т1. После дообучения на траекториях агенты резко теряют в качестве при минимальной смене интерфейса, а необученные модели остаются в основном стабильными

  • Против: оценка агента по успеху на исходном интерфейсе
  • Аргумент: авторы переписывают только названия действий в интерфейсе (синонимы или бессмысленные символы), оставляя описания, задачи и поведение среды. Обученные на траекториях агенты падают, у необученных изменения обычно малые или смешанные.
  • Цитата: «PIPE reveals that trajectory-SFT substantially amplifies interface shortcutting: trained agents degrade sharply under minimal interface rewrites, while non-trajectory-trained models remain largely stable.»
  • Данные: 16 сред из AgentBench и AgentGym; на WebShop AgentLM-14b падает с 61.2 до 4.44 и 3.08, на DataBase AgentLM-70b падает с 42 до 2 и 13.3 (замена названий действий синонимами или бессмысленными символами).
  • Понятия: Привязка к интерфейсу

Т2. Дообучение на траекториях улучшает понимание смысла, но часть прироста на исходном бенчмарке авторы относят к привязке к интерфейсу

  • Аргумент: на AgentGym авторы сами дообучили Qwen3-8B/14B и Gemma3-4B/12B на AgentTraj. На исходном интерфейсе прирост большой, при изменённом интерфейсе он сохраняется лишь частично, но обученные агенты часто остаются выше необученных.
  • Цитата: «This “partial transfer” pattern supports our central claim: trajectory-SFT improves semantic understanding competence, but also induces interface shortcut; PIPE attenuates the latter, revealing that a non-trivial fraction of the original benchmark gains relies on shortcutting.»
  • Данные: на WebShop обученные агенты набирают 80–90+ на исходном интерфейсе (по авторам); на ALFWorld, SciWorld и WebShop при изменённом интерфейсе падения заметные.
  • Понятия: Привязка к интерфейсу

Т3. Степень привязки к интерфейсу, возникающей при дообучении на траекториях, сильно зависит от среды

  • Аргумент: авторы вводят метрику Interface Reliance (IR) — предпочтение исходных названий действий синонимам при двух порядках описаний. В части сред у обученных агентов IR заметно выше, чем у необученных, в других он около 1.
  • Цитата: «These differences suggest that the degree of interface reliance induced by trajectory-SFT is highly environment-dependent: some environments admit strong shortcutting toward surface-form conventions, while others remain largely governed by semantic cues.»
  • Данные: заметно выше у обученных агентов в DataBase, OperatingSystem, ALFWorld (AgentBenchPlus) и SciWorld, ALFWorld (AgentGymPlus); около 1 в KnowledgeGraph, WebShop (AgentBenchPlus) и Wordle (AgentGymPlus). В ALFWorld у AgentBench-обученных агентов авторы наблюдают почти исключительное использование исходных названий.
  • Понятия: Interface Reliance

Т4. Рост успеха на исходном интерфейсе в ходе обучения может не говорить об улучшении понимания

  • Аргумент: авторы дообучили Qwen3-8B на AgentInstruct на 8 эпох и проверяли каждый чекпоинт в DataBase и OperatingSystem. Динамика зависит от среды и немонотонна: в DataBase качество на перефразированном интерфейсе позже частично возвращается.
  • Цитата: «As shown in Figure 4, training progress on Origin is not a reliable indicator of semantic learning…»
  • Данные: Qwen3-8B, AgentInstruct, 8 эпох, две среды AgentBenchPlus; в OperatingSystem восстановление слабее и видно в основном при символьной замене названий (Perturb 2). Отдельный опыт в AgentGymPlus: Qwen3-8B и Gemma3-4B дообучали на траекториях SciWorld 8 эпох; результат на изменённом интерфейсе остаётся ниже исходного на всём обучении.
  • Понятия: Interface Reliance

Т5. Привязка к интерфейсу не неизбежна: авторы предполагают, что данные с покомпонентным надзором по инструментам смещают обучение к смыслу

  • Аргумент: в части сред обученные на траекториях агенты остаются устойчивыми к смене интерфейса. Анализ факторов среды наводит авторов на мысль разбивать сложные траектории с несколькими инструментами на простые, с одним инструментом. Это предположение авторов: разбиение траекторий на простые с повторным обучением они не проверяли.
  • Цитата: «To bias trajectory-SFT toward semantic learning (rather than interface shortcuts), our results suggest increasing per-tool supervision: for example, by decomposing complex multi-tool trajectories into simpler, tool-focused trajectories.»
  • Понятия: Привязка к интерфейсу

Кейсы

К1. Агент продолжает вызывать устаревшие названия действий

Когда интерфейс менялся, обученные на траекториях агенты порой продолжали вызывать действие по старому названию или формату, тогда как необученные почти не делали таких вызовов. Подкрепляет Т1.

Понятия

  • Привязка к интерфейсу → Gu и др.: опора агента на форму названий и вызова действий, а не на смысл инструмента (Т1, Т2, Т5)
  • Interface Reliance → Gu и др.: метрика предпочтения обучающих названий действий синонимам, среднее геометрическое по задачам (Т3, Т4)

Оригинал