Liu и др. — ToolAnchor: Anchoring Counterfactual Context to Boost Agentic Tool-use Capability

8 окт. 2026 г. · время чтения ~5 мин.

DOI: 10.48550/arxiv.2607.14145 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)

Вид: paper

Главный вопрос: как дать уже дообученному агенту новые инструменты, не переучивая его с нуля

Ответ одной фразой: авторы считают, что дообученный агент при расширении набора инструментов упирается в поведенческую инерцию, и предлагают сочетание подсказки в контексте в критической точке, дообучения на проверенных учеником подсказках учителя и последующего agentic RL; в их экспериментах это сочетание дало результат лучше вариантов с RL с нуля и с SFT отдельно, а по сравнению с сильными агентами результат на GAIA, BrowseComp и VDR-Bench — сравнимый.

Тезисы

Т1. Дообученный Tongyi при расширенном наборе инструментов опирается на старые и реже зовёт новые, чем универсальные модели

Против: предположение, что дообученный агент сам освоит новые инструменты
Аргумент: авторы сравнили три модели на 100 случайных задачах VDR-Bench с тремя новыми визуальными инструментами. Универсальные модели берут визуальные инструменты, а Tongyi, прошедший agentic RL на старом наборе, продолжает опираться на старый набор. Авторы называют это поведенческой инерцией.
Цитата: «while general-purpose agents seamlessly adopt the visual tools, Tongyi remains heavily reliant on its original toolset. This discrepancy highlights a pronounced behavioral inertia in post-trained agents.»
Данные: среднее число вызовов на задачу (100 случайных задач VDR-Bench), Tongyi-DeepResearch-30B-A3B против Gemini-2.5-Pro и Qwen3-30B-A3B-Instruct: веб-поиск 24.18 против 7.50 и 5.14; Bbox Extractor 0.37 против 1.43 и 1.68; Crop-and-Image Search 0.78 против 1.69 и 1.02.
Понятия: Поведенческая инерция

Т2. Подсказка учителя в контексте может частично спасти проваленные траектории

Против: объяснение, что провал — только нехватка умения пользоваться инструментом
Аргумент: на 100 проваленных траекториях Tongyi из каждого набора учитель (Gemini-2.5-Pro или GPT-5) предлагал другую пару «мысль–действие» в одном раунде, и тот же агент продолжал с неё. Авторы делают вывод, что провалы идут не только от ограниченного умения, но и от нехватки контекстных якорей. Агент без дообучения продолжал генерацию с изменённого контекста.
Цитата: «Teacher-hypothesized counterfactual anchor contexts can partially recover failed trajectories: compared with resuming from the original context, resuming from teacher-revised contexts yields higher task success in both textual and visual search settings.»
Данные: доля успеха при продолжении с исходного контекста и с контекста учителя (Gemini-2.5-Pro / GPT-5): OpenSeeker 4.0% и 9.0% / 6.0%; VDR-Bench 11.0% и 23.0% / 17.0% (по 100 проваленных траекторий Tongyi с каждого набора).
Понятия: Контрфактический якорь

Т3. Добавление визуальных инструментов к Tongyi подняло VDR-Bench с 7.5% до 16.6% и немного ухудшило текстовые наборы

Аргумент: авторы сравнили базовый Tongyi и тот же Tongyi с визуальными инструментами. Результат на VDR-Bench вырос, на GAIA и BrowseComp слегка упал.
Цитата: «The results demonstrate that while the integration of these visual tools significantly boosts performance on the VDR-Bench visual search (from 7.5% to 16.6%), it incurs a marginal performance degradation on textual search benchmarks (GAIA and BrowseComp).»
Данные: GAIA 70.9% против 70.3%; BrowseComp 43.4% против 42.5%; VDR-Bench 7.5% против 16.6%. Числа базового Tongyi на GAIA, BrowseComp и VDR-Bench (70.9%, 43.4%, 7.5%) взяты из других работ, а с инструментами измерены авторами.
Понятия: Расширение набора инструментов

Т4. Обучение с подкреплением в одиночку и дообучение на подсказках в одиночку уступают их сочетанию

Аргумент: авторы сравнили agentic RL с нуля, anchor-only agentic SFT на проверенных контекстах и ToolAnchor, где после SFT идёт agentic RL. По их толкованию, SFT даёт локальные подсказки, а последующий RL согласует их с прежней политикой агента.
Цитата: «However, agentic SFT with verified contexts alone still underperforms the ToolAnchor, suggesting that anchor-context internalization through SFT is insufficient to fully recover and improve the agent’s tool-use policy…»
Данные: agentic RL с нуля даёт 70.3% (GAIA), 41.5% (BrowseComp), 21.6% (VDR-Bench); ToolAnchor даёт 74.5%, 45.0%, 28.8% (база Tongyi-DeepResearch-30B-A3B, расширенная визуальными инструментами; GAIA 165 задач, BrowseComp 200, VDR-Bench 500; Pass@1).
Понятия: Agentic SFT, Agentic RL

Т5. SFT на непроверенных контекстах учителя может давать шумный или бесполезный сигнал

Против: дистилляция и DAgger, где вывод учителя берут как эталон
Аргумент: авторы оставляют контекст в обучении, только если ученик после него решил задачу и отдельный судья подтвердил полезность подсказки. SFT на непроверенных контекстах показал слабый результат, особенно на BrowseComp.
Цитата: «Agentic SFT on unverified counterfactual contexts performs poorly, especially on BrowseComp, indicating that teacher-hypothesized contexts can introduce noisy or ineffective supervision if applied without student-side verification.»
Данные: проверку прошли 33.67% кандидатов по задаче (Pass@3 из трёх прогонов ученика) и 31.98% остались после проверки полезности подсказки.
Понятия: Проверка подсказки учителя учеником

Т6. Дообученный текстовый агент с визуальными инструментами сократил разрыв с агентом, обученным визуальному поиску с нуля, но не закрыл его

Аргумент: на VDR-Bench ToolAnchor набрал 28.8%, ниже Vision-DeepResearch-30B-A3B (37.8%), обученного с нуля на 15K примеров. Авторы называют разницу предсказуемой платой и отмечают, что ToolAnchor не требует дорогого мультимодального обучения. Результат получен на одной базовой модели и одном наборе визуальных инструментов.
Цитата: «This substantially narrows the gap with a vision-language model (VLM) agent trained from scratch for visual search, namely Vision-DeepResearch-30B-A3B (37.8%).»
Данные: VDR-Bench (test-mini, 500 задач): ToolAnchor 28.8%, Vision-DeepResearch-30B-A3B 37.8%, Tongyi 7.5%, Tongyi с визуальными инструментами 16.6%; числа Vision-DeepResearch и базового Tongyi взяты из других работ; GAIA 74.5% против 70.9% у базы; BrowseComp 45.0% против 43.4% у базы.
Понятия: Расширение набора инструментов

Кейсы

К1. Агент отбросил зацепку EvoWorld.io

Агент нашёл зелёного персонажа, обратный поиск по картинке дал зацепку EvoWorld.io, но он счёл результаты слишком общими и перешёл на широкий текстовый поиск, после чего ответил неверно. Учитель назвал этот шаг якорным раундом и предложил проверить зацепку, а не уходить от визуальных данных. Подкрепляет Т2.

Понятия

Поведенческая инерция → Liu и др.: склонность агента возвращаться к привычным инструментам и шаблонам рассуждения, даже когда доступны новые (Т1)
Контрфактический якорь → Liu и др.: контекст, где в одном раунде заменено решение агента, а история до него сохранена (Т2)
Расширение набора инструментов → Liu и др.: добавление новых инструментов уже дообученному агенту (Т3, Т6)
Agentic SFT → Liu и др.: SFT на проверенной паре «мысль–действие» в якорном раунде (Т4)
Agentic RL → Liu и др.: RL (GRPO) с бинарной наградой за верный ответ после SFT (Т4)
Проверка подсказки учителя учеником → Liu и др.: подсказка остаётся, если ученик решил задачу после неё и судья подтвердил её полезность (Т5)

Оригинал