Kumarappan, Mujoo — Not Just RLHF: Why Alignment Alone Won’t Fix Multi-Agent Sycophancy
DOI: 10.48550/arxiv.2605.12991 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)
Вид: paper
Главный вопрос: чем объясняется переход мультиагентных конвейеров от правильного ответа к неправильному под давлением пиров — обучением с RLHF или чем-то ещё — и что против него помогает.
Ответ одной фразой: Авторы сообщают, что на проверенных ими моделях этот переход возникает уже у предобученных базовых моделей, так что RLHF его частично смягчает, а не порождает.
Тезисы
Т1. На парных наборах вопросов базовые модели в 10 из 12 ячеек поддаются не реже Instruct
- Против: Wynn и соавторы (Wynn and Hadfield, 2025), RLHF-объяснение угодливости
- Аргумент: Авторы сравнивают базовую и Instruct-версии в четырёх семействах (Llama, Mistral, Gemma, Qwen) на пересечении вопросов, которые обе знают. В 10 из 12 ячеек «семейство × условие» базовая модель переворачивается не реже Instruct; в 2 ячейках (Mistral) ниже. Авторы заключают, что RLHF частично смягчает уязвимость, а не вызывает её.
- Цитата: «On matched question pools, base models yield at least as high as Instruct in 10 of 12 family × condition cells (per-family breakdowns in Appendix D.1)…» (раздел «Mechanism is pretrained, not RLHF-induced»)
- Данные: 4 семейства моделей, 3 условия давления; Qwen при роли ассистента: 92.0% у базовой, 37.9% у Instruct; Mistral в двух ячейках ниже у базовой (58% и 96%).
- Понятия: Yield, RLHF
Т2. Активационный патчинг локализует искажение на слоях L14–L18 у Llama-3.1-8B-Instruct
- Аргумент: Авторы подставляют чистые скрытые состояния в состояния под давлением. Патч на слое L10–L12 эффекта не даёт, восстановление начинается с L14 и почти полное к L16. Патч на любом слое от L18 восстанавливает 96.8% разрыва, и авторы делают вывод, что всё искажение происходит к L18. Окно воспроизводится на Mistral-7B-Instruct-v0.3 и на STEM-наборе.
- Цитата: «Patching at any layer L ≥ 18 restores 96.8% of the gap, indicating that all corruption occurs by L18.» (раздел «Causal localization at L14–L18»)
- Данные: 400 вопросов (named peer jury, strong); разрыв P(correct) между чистым и давлением 0.764; 95% bootstrap CI; шаг L12 к L14 статистически различим; 200 вопросов STEM и 43 вопроса college computer science повторяют результат.
- Понятия: Активационный патчинг
Т3. Эффект задаётся каналом подачи и силой консенсуса; при 3 из 4 разрыв 47.5 п.п.
- Аргумент: Одни и те же аргументы жюри подаются в роли user, assistant или tool. При роли user модель переворачивается почти только при единогласии 4 из 4, при роли assistant уже при большинстве 3 из 4. Авторы подчёркивают, что оба канала дают почти 100% при 4v0, поэтому разрыв не объясняется потолком.
- Цитата: «Under assistant-role framing the model is a majority detector: yield stays below 7% at kwrong ∈ {0, 1, 2}, cliffs at 3v1 to 60.25%, and saturates at 97.50% at 4v0…» (раздел «Two-factor attack surface: framing × consensus interaction»)
- Данные: Llama-3.1-8B-Instruct, жюри из 4 моделей, 400 вопросов; роль user: ниже 13% при 0–3 неверных, 80.25% при 4v0; 3v1 при роли assistant — 60.25%, при роли user — 12.75%. Структура сохраняется при жюри из 5 и 6 моделей.
- Понятия: Канал подачи, Сила консенсуса
Т4. Один правильно аргументирующий несогласный снижает долю переворотов на 54–73 п.п. при трёх проверенных каналах
- Аргумент: Авторы заменяют одного неверного агента на агента, аргументирующего верный ответ (2 неверных против 1 верного). Снижение превышает 50 п.п. в каждом из трёх каналов, но остаточная доля переворотов растёт с уязвимостью канала. Авторы пишут, что модель реагирует прежде всего на то, какой ответ поддержан, а не на причины.
- Цитата: «A single correct voice drops yield by more than 50 pp under every framing tested (Figure 5): user-role 75.75% → 5.25% (−70.5 pp), assistant-role 97.75% → 24.50% (−73.25 pp), tool-role 97.75% → 44.25% (−53.5 pp).» (раздел «Mitigation: a single dissenter generalizes across framings»)
- Данные: Llama-3.1-8B-Instruct, 400 вопросов, жюри из трёх агентов; остаточная доля при 2v1: 5.25%, 24.50%, 44.25%. Три адаптивные стратегии атаки не подняли долю выше 21% в роли user; голое утверждение верного ответа даёт 80–90% полного эффекта.
- Понятия: Структурированное несогласие
Т5. Самая сильная защита системным промптом ослабевает на атаках вне её расчёта (с −65 до −28 и −14 п.п.) и почти не действует при безсуффиксном протоколе
- Аргумент: Авторы сравнивают защиту промптом с несогласным. Защита даёт −65 п.п. на атаке, под которую написана, −28 п.п. на голом утверждении внутри блока жюри, −14 п.п. без жюри, а при безсуффиксном протоколе почти нулевой эффект. Авторы трактуют это так, что защита действует на считывание ответа, а не на механизм средних слоёв. У несогласного такого провала нет.
- Цитата: «The strongest system-prompt defense drops yield by 65 pp on its designed attack but degrades to −28 pp on a bare assertion within the jury block and −14 pp with no jury at all, and has near-zero effect under the…» (раздел «Mitigation: a single dissenter generalizes across framings»)
- Данные: Llama-3.1-8B-Instruct, 400 вопросов; проверены пять защитных системных промптов, цифры даны для самого сильного.
- Понятия: Защита системным промптом
Т6. Авторы рекомендуют направлять смягчение на механизм: структурированное несогласие на уровне конвейера
- Аргумент: Авторы заключают, что один правильно аргументирующий голос переносится на разные каналы атаки, а промпт-защиты нет, потому что он действует на ось консенсуса, от которой зависит механизм. Это рекомендация авторов; не проверено, можно ли внедрить структурированное несогласие в реальные конвейеры (авторы относят это к будущей работе).
- Цитата: «A single correctly-arguing voice generalizes across attack framings where prompt-level defenses do not, because it targets the consensus axis that the mechanism gates on. Mitigations should target the mechanism, structured dissent at the pipeline level, rather than prompt-level defenses.» (раздел «Conclusion»)
- Данные: основание — результаты Т4 и Т5 на Llama-3.1-8B-Instruct, 400 вопросов гуманитарного набора MMLU.
- Понятия: Структурированное несогласие
Кейсы
К1. Вопрос про Канта
Модель отвечает на вопрос «According to Kant, nothing can be called ‘good’ without qualification except», верно выбирая (D) a good will без давления. Когда в запрос добавлены ответы жюри, утверждающие вариант A, модель переходит к неверному A. Иллюстрирует Т2.
Понятия
- Yield → Kumarappan, Mujoo: доля вопросов, где модель, знавшая верный ответ, переходит к неверному под давлением пиров (Т1)
- Канал подачи → Kumarappan, Mujoo: роль чат-шаблона, через которую подан один и тот же текст жюри, меняет порог уступки (Т3)
- Структурированное несогласие → Kumarappan, Mujoo: правильно аргументирующий агент в конвейере снижает долю переворотов (Т4, Т6)