Mohsin и др. — Pressure, What Pressure? Sycophancy Disentanglement in Language Models via Reward Decomposition
DOI: 10.48550/arxiv.2604.05279 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)
Вид: научная статья (препринт arXiv, под рецензией, апрель 2026)
Коротко
Вопрос: можно ли снизить подхалимство языковых моделей, если разделить обучающий сигнал по двум разным сбоям?
Ответ: Mohsin и др. рассматривают подхалимство языковых моделей как наложение двух разных сбоев, уступки давлению и слепоты к доказательствам, раскладывают награду GRPO на пять частей и заявляют, что на пяти базовых моделях это снижает подхалимство по всем их метрикам; работу они называют контролируемым примером, а не устранением подхалимства вообще.
Частные вопросы:
- В1. Из чего состоит подхалимство по Mohsin и др.? → Т1, Т2
- В2. Как устроено обучение и что оно даёт? → Т3, Т8, Т7, Т4
- В3. Переносится ли эффект и где его граница? → Т5, Т6
Тезисы
Mohsin и др. спорят со стандартными методами выравнивания: Constitutional AI, DPO и обучением на скалярной награде (Т1).
Т1. Mohsin и др.: подхалимство в моделях после инструкционной настройки есть наложение двух ортогональных дефицитов, уступки давлению и слепоты к доказательствам, которые стандартные скалярные награды смешивают
- Против: Constitutional AI (Bai и др., 2022) и DPO (Rafailov и др., 2023). Цитата: «Constitutional AI (Bai et al., 2022) and DPO (Rafailov et al., 2023) reduce harmful outputs but do not penalise agreement under pressure.»
- Аргумент: смешанный скалярный сигнал, по Mohsin и др., не позволяет исправлять эти сбои выборочно.
- Цитата: «We have shown that sycophancy in instruction-tuned LLMs is a superposition of two orthogonal deficits, pressure capitulation and evidence blindness, that standard scalar rewards conflate and cannot selectively correct.»
Т2. Mohsin и др. определяют подхалимство через два условия, независимость от давления и чуткость к доказательствам, и требуют выполнения обоих
- Аргумент: модель может устоять перед давлением и всё равно игнорировать контекст.
- Цитата: «A model can satisfy Pressure Independence while violating Evidence Responsiveness (resisting pressure but ignoring context), so both conditions are required.»
Т3. Mohsin и др. раскладывают награду GRPO на пять частей: устойчивость к давлению, верность контексту, последовательность позиции, подавление общего согласия и фактическая правильность
- Аргумент: Mohsin и др. называют это первым подходом к снижению подхалимства через разложение награды.
- Цитата: «We propose the first approach to sycophancy reduction via reward decomposition, introducing a multi-component Group Relative Policy Optimisation (GRPO) reward that decomposes the training signal into five terms: pressure resistance, context fidelity, position consistency, agreement suppression, and factual correctness.»
Т4. Mohsin и др. заявляют, что двухфазный метод на пяти базовых моделях последовательно снижает подхалимство по всем метрикам, а абляции подтверждают независимость вклада каждого члена награды
- Аргумент: это итог по собственным метрикам Mohsin и др.; перенос на внешние тесты разобран в Т5.
- Цитата: «Across five base models, our two-phase pipeline consistently reduces sycophancy on all metric axes, with ablations confirming that each reward term governs an independent behavioural dimension.»
Т5. По Mohsin и др., обученная устойчивость переносится на формы давления, которых не было в обучении: на SycophancyEval подсказанный неверный ответ снижается на 15–17 пунктов, повторный вопрос на 0–4, ownership bias на 2–7
- Аргумент: Mohsin и др. видят в этом обобщение на неявные формы давления для всех пяти базовых архитектур.
- Цитата: «On SycophancyEval (Table 6), GRPO reduces answer-priming sycophancy by 15–17 pp across all five base architectures, follow-up capitulation by 0–4 pp, and ownership bias by 2–7 pp, demonstrating model-agnostic generalisation to implicit pressure forms absent from training.»
Т6. Mohsin и др. называют работу контролируемым примером, а не устранением подхалимства вообще
- Аргумент: подход нацелен на подхалимство под сигналами авторитета у моделей после инструкционной настройки.
- Цитата: «This work is a controlled case study: we do not claim to eliminate sycophancy in general, but demonstrate that authority-cue sycophancy in instruction-tuned models responds to targeted reward shaping when failure modes are separated.»
Т7. По Mohsin и др., дообучение только на ответах без давления умеренно улучшает PSS и CFS, но стабильно ухудшает PACF
- Аргумент: такое дообучение (SFT) служит первой фазой метода; без контрастного сигнала давления оно, по Mohsin и др., ухудшает чувствительность к контексту.
- Цитата: «SFT warmup alone improves PSS and CFS modestly but causes consistent PACF regression, confirming that positive-only fine-tuning degrades context sensitivity without contrastive pressure signal.»
Т8. Mohsin и др. обучают на контрастном наборе: ответы без давления парны с ответами под давлением трёх уровней авторитета при двух противоположных по смыслу контекстах
- Аргумент: Mohsin и др. отбирают группы моделью логического следования (NLI): пары ответов без давления должны противоречить друг другу.
- Цитата: «We train using a contrastive dataset pairing pressure-free baselines with pressured variants across three authority levels and two opposing evidence contexts.»
- Данные: принято 800 групп, средняя оценка противоречия между парными ответами без давления 0,957. Цитата: «Across 800 accepted groups, the mean NLI contradiction score is 0.957.»
Пример
Mohsin и др. различают два случая: пользователь, который приводит фармакокинетические рассуждения, даёт доказательства, а пользователь, который требует согласия, ссылаясь на профессию врача, оказывает давление. Метод нацелен на второй случай.
Критика
- Разложение на два условия Mohsin и др. называют рабочей рамкой, а не окончательной характеристикой явления. Цитата: «This decomposition is a working framework, not a definitive characterisation: it directly induces the structure of our reward function (§3.2), where each term targets one failure mode.»
- Условие эмоциональной вовлечённости на мнениях стало единственным, где базовая модель чуть лучше. Цитата: «Emotional investment (opinion) is the one condition where the baseline narrowly wins, reflecting a distributional gap between authority-cue and affect-based pressure.»
- Перенос на многоходовое неявное внушение предпочтений и на состязательное подхалимство остаётся за пределами работы. Цитата: «Generalisation to multi-turn implicit preference injection and adversarial sycophancy is left to future work.»
Связи
- +Sycophancy — см. также
- +Constitutional AI — спорит с (2026 — Mohsin, Bilal, Umer и др. — Pressure, What Pressure (KFKX0AMTP) — карточка#^t1)
- +RLHF — см. также