Ming Liu — More Is Not Always Better: Cross-Component Interference in LLM Agent Scaffolding
DOI: 10.48550/arxiv.2605.05716 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)
Вид: paper
Главный вопрос: улучшает ли агента добавление всех стандартных компонентов обвязки (планирование, инструменты, память, структурированное рассуждение, рефлексия), или компоненты порой мешают друг другу.
Ответ одной фразой: Автор сообщает, что в его экспериментах с промпт-компонентами обвязки (веса заморожены) набор из части компонентов не уступает набору из всех пяти, а размер выигрыша зависит от задачи и размера модели.
Тезисы
Т1. На Llama-3.1-8B и HotpotQA агент с одним инструментом набрал выше полного набора из пяти компонентов
- Против: практика собирать агента из максимального числа компонентов
- Аргумент: Автор сравнивает инструмент без добавок и все пять компонентов на 10 запусках. Разница статистически значима по парному t-тесту и по критерию Уилкоксона. Автор называет это Cross-Component Interference (CCI): отрицательной предельной отдачей при добавлении компонентов.
- Цитата: «Across 10 random seeds, tool use alone scores F1 =0.233; the full five-component agent scores F1 =0.177—a 32% degradation» (раздел «Introduction»)
- Данные: Llama-3.1-8B-Instruct, HotpotQA, 10 запусков по 100 вопросов, F1 0.233 против 0.177; парный t-тест p=0.023, Уилкоксон p=0.014, Cohen’s dz=0.87; инструмент обгоняет полный набор в 8 из 10 запусков; из шести добавлений к инструменту 5 значимы при p<0.05 без поправки и 4 после поправки Холма–Бонферрони.
- Понятия: Cross-Component Interference
Т2. Во всех шести проверенных условиях лучший собственный поднабор не уступает полному набору: лучше или вровень (многозапусково подтверждено только на Llama-8B/HotpotQA, на Claude Haiku разница в пределах шума)
- Против: практика собирать агента из максимального числа компонентов
- Аргумент: Автор пишет, что в каждом проверенном условии лучший собственный поднабор не уступает полному набору (лучше или вровень). Подтверждено на 8B, в остальных условиях картина лишь согласуется (направление, без многозапусковой проверки). Автор рекомендует оценивать поднаборы для каждой задачи.
- Цитата: «The directional CCI pattern—best achievable subset matches or outperforms All-In—replicates in all six model×benchmark conditions tested» (раздел «Cross-Family Replication»)
- Цитата: «In every setting tested, some proper subset outperforms all-in (validated at 8B, directionally consistent elsewhere).» (раздел «Implications for Agent Design»)
- Данные: 118 конфигураций (все 32 подмножества пяти компонентов), 2 бенчмарка (HotpotQA, GSM8K), модели Llama-3.1-8B/70B, Qwen2.5-3B/7B, Claude Haiku 4.5; 6 условий «модель × бенчмарк»; всего 32 000+ оценок; на Claude Haiku разница около 0%.
- Понятия: Cross-Component Interference
Т3. Перевес лучшего поднабора сужается с ростом модели; автор называет это лишь предположительным свидетельством
- Аргумент: Автор сравнивает разрыв между лучшим поднабором и полным набором на трёх уровнях способностей (Llama-8B, Llama-70B, Claude Haiku 4.5). Сам оговаривает, что две модели различаются не только числом параметров, а двух точек для закона масштабирования мало. Гипотезу о насыщении при росте способностей автор называет гипотезой.
- Цитата: «Our two models differ in architecture and training compute in addition to parameter count. Two data points cannot establish a scaling law; these results are suggestive evidence that larger models tolerate wider component combinations.» (раздел «Capacity-Dependence: 70B Scale»)
- Данные: HotpotQA; разрыв 32% у Llama-8B (10 запусков), 19% у Llama-70B (4-битное квантование, один запуск, p=0.13), около 0% у Claude Haiku 4.5 (100 задач, один запуск); у Qwen 40% на 3B и 8% на 7B (один запуск); у 70B добавление рефлексии к инструменту меняет знак эффекта: −0.072 на 8B, +0.072 на 70B.
- Понятия: Cross-Component Interference
Т4. Лучшее число компонентов зависит от задачи: у Llama-3.1-8B один на HotpotQA, три на GSM8K
- Аргумент: Автор сравнивает два бенчмарка на одной модели. На HotpotQA лучше один инструмент, на GSM8K лучше связка из инструмента, структурированного рассуждения и рефлексии. Разрыв между лучшим поднабором и полным набором на GSM8K составляет 79%.
- Цитата: «Optimal subset size differs. k ∗ =3 on GSM8K (T+SR+R: 0.430) vs. k ∗ =1 on HotpotQA (T alone). SR and R help on math tasks but hurt on retrieval QA.» (раздел «Task-Dependence: GSM8K»)
- Данные: Llama-3.1-8B-Instruct; GSM8K 100 вопросов, один запуск: лучший набор 0.43 против 0.24 у полного набора (McNemar p=0.010), доверительный интервал лучшего [.33, .53]; автор отмечает, что компонент инструмента различается между бенчмарками, что смешивает сравнение.
- Понятия: Оптимальное число компонентов
Т5. На 32 конфигурациях Llama-3.1-8B/HotpotQA эффект компонентов в основном аддитивен: модель главных эффектов обобщается лучше парной
- Аргумент: Автор подгоняет к 32 средним значениям F1 модель только с главными эффектами и модель с парными взаимодействиями. Простая обобщается лучше по LOOCV и по BIC. Автор делает вывод, что в его данных CCI предсказуем по отдельным эффектам компонентов, и отдельно сообщает, что у самых крупных нарушений субмодулярности знак эффекта компонента меняется в зависимости от того, что уже есть в наборе.
- Цитата: «The main-effects model’s superior generalization indicates that CCI in our data is primarily additive: each component imposes an approximately constant marginal cost (or benefit) regardless of context.» (раздел «Component Interaction Regression»)
- Данные: Llama-3.1-8B, HotpotQA, 32 конфигурации; модель из 6 параметров R²=0.916, LOOCV R²=0.872; модель из 16 параметров R²=0.937, LOOCV R²=0.748; ΔBIC=25.3; Shapley: инструмент даёт 70% суммарной абсолютной массы (ϕ=+0.177), планирование значимо отрицательно (ϕ=−0.029); 183 нарушения субмодулярности из 325 троек; из 20 крупнейших 18 со сменой знака.
- Понятия: Shapley-значения
Кейсы
К1. Жадный отбор останавливается на одном инструменте
На GSM8K при жадном добавлении компонентов от инструмента процесс останавливается на одном компоненте (точность 0.220), так как все предельные эффекты отрицательны, хотя связка из инструмента, структурированного рассуждения и рефлексии даёт 0.430. Подкрепляет Т4.
Понятия
- Cross-Component Interference → Ming Liu: операционное определение отрицательной предельной отдачи при добавлении компонента обвязки; механизм не утверждается (Т1, Т2, Т3)
- Оптимальное число компонентов → Ming Liu: k*, число компонентов лучшего набора; зависит от задачи (Т4)
- Shapley-значения → Ming Liu: средний предельный вклад компонента по всем наборам (Т5)