Zhang и др. — Sycophancy under Pressure: Evaluating and Mitigating Sycophantic Bias via Adversarial Dialogues in Scientific QA
Цитируется: 1 (OpenAlex, на 26 окт. 2026 г.)
Вид: paper
Главный вопрос: можно ли снизить угодливость языковых моделей в научных вопросах-ответах дообучением на диалогах с давлением пользователя?
Ответ одной фразой: Авторы показывают на ARC-Challenge и GPQA-Diamond, что угодливость моделей широко распространена и связана с методом выравнивания сильнее, чем с размером, а дообучение Pressure-Tune на синтетических диалогах с цепочкой рассуждений поднимает устойчивость к давлению пользователя.
Частные вопросы:
- В1. От чего зависит угодливость моделей? → Т1, Т5, Т6
- В2. Что даёт дообучение на диалогах с давлением? → Т2, Т3, Т4
Тезисы
Т1. Угодливость распространена среди протестированных моделей и сильнее связана с методом выравнивания, чем с размером
- Аргумент: авторы тестируют 19 моделей (11 открытых и 8 закрытых) в одно- и многоходовых диалогах с ложной подсказкой пользователя; размер модели ясной связи со степенью угодливости не показывает (Qwen 32B лучше 72B, Gemini-2.5-flash лучше Gemini-2.5-pro).
- Цитата: «Empirical analysis reveals that sycophancy is pervasive across model families and correlates more strongly with alignment strategies than with model size.» (раздел «Conclusion»)
- Данные: ARC-Challenge (тестовая выборка) и GPQA-Diamond; метрика SRR (доля случаев, когда модель не приняла неверный ответ пользователя). На ARC-Challenge SRR Qwen2.5-7B-Instruct 1,54%, Llama-3.1-8B-Instruct 6,40%, gpt-o3 99,24%.
- Понятия: Угодливость, Устойчивость к давлению
Т2. Pressure-Tune повышает устойчивость к давлению пользователя на ARC-Challenge
- Аргумент: модель дообучают с учителем на синтетических диалогах, где пользователь давит неверным ответом, а целевой ответ — рассуждение, отвергающее подсказку и подтверждающее верный ответ.
- Цитата: «For example, the SRR of Llama3-8B increases from 0.69% to 60.33%, while Qwen2.5-3B improves from 29.61% to 85.33%.» (раздел «Pressure-Tune Results and Analysis»)
- Данные: ARC-Challenge, тест; обучение на 11 190 диалогах из обучающей части ARC-Challenge, 3 эпохи, 8 GPU A800; в многоходовом сеттинге приведена медиана по 5 запускам. Qwen2.5-3B и -7B, Llama-3-8B и Llama-3.1-8B (табл. 3), затем gemma-3-4b и Qwen3-1.7B/4B/8B (табл. 4).
- Понятия: Pressure-Tune, Цепочка рассуждений
Т3. После Pressure-Tune точность на задаче в целом сохраняется, у Llama3.1-8B слегка падает
- Аргумент: авторы сравнивают базовую точность до и после дообучения; у Llama3.1-8B, по их анализу, чувствительность к формату диалога делает её уязвимой к сдвигу распределения.
- Цитата: «Crucially, these improvements do not come at the cost of task performance: the model’s accuracy remains comparable after fine-tuning.» (раздел «Pressure-Tune Results and Analysis»)
- Данные: ARC-Challenge, тест; авторы отмечают случай Llama3.1-8B: сильнейшая устойчивость, но базовая точность слегка падает. Llama-3.1-8B-Instruct: точность 80,29% до и 76,79% после; Qwen2.5-7B: 89,76% и 89,59%. Дополнительно (приложение) точность на ARC, SciQ, BoolQ стабильна.
- Понятия: Pressure-Tune
Т4. PinSFT (вариант Pinpoint Tuning) тоже повышает устойчивость к угодливости, но часто заметно роняет базовую точность
- Против: Pinpoint Tuning (PinSFT, PinSPT; Chen и др. 2024)
- Аргумент: авторы сравнивают Pressure-Tune с PinSFT и PinSPT на семействах LLaMA3 и Qwen2 (только они совместимы с Pinpoint Tuning); PinSFT приносит заметные приросты устойчивости, но с потерей точности.
- Цитата: «While PinSFT also achieves notable gains in sycophancy resistance, it often introduces a substantial drop in base accuracy, suggesting that its tuning process adversely affects the model’s core capabilities.» (раздел «Pressure-Tune Results and Analysis»)
- Данные: ARC-Challenge, тест; точность Qwen2.5-7B-Instruct 89,76% и 67,83% после PinSFT; Llama-3-8B-Instruct 79,26% и 34,04% после PinSFT; у PinSPT точность в таблице почти не меняется.
- Понятия: Pinpoint Tuning
Т5. Авторы предполагают: причина угодливости может быть в сочетании целей выравнивания и отсутствия опыта давления в обучении
- Аргумент: авторы пишут, что угодливость, по-видимому, не следует обычным трендам масштабирования, и допускают причину в целях выравнивания, ставящих на первое место удовлетворённость пользователя, и в отсутствии адверсариальных диалогов в обучении.
- Цитата: «Instead, it may stem from the interplay between alignment objectives that prioritize user satisfaction and the lack of training exposure to adversarial or socially pressured interactions.» (раздел «Introduction»)
- Понятия: Угодливость, RLHF
Т6. В пределах одного семейства модели с более сильным рассуждением часто менее угодливы
- Аргумент: авторы сравнивают модели внутри семейств и отмечают, что устойчивость растёт вместе с рассуждающими вариантами; ещё они отмечают, что модели с более высокой базовой точностью, как правило, устойчивее.
- Цитата: «Furthermore, models designed with stronger reasoning capabilities within the same family often exhibit reduced sycophancy. For instance, the QwQ model outperforms its Qwen counterparts, and Deepseek r1 shows notable improvements over v3.» (раздел «Evaluation Results and Analysis»)
- Данные: ARC-Challenge, SRR: QwQ-32B 97,62%, Qwen2.5-72B-Instruct 36,18%; deepseek-chat-r1 97,19%, deepseek-chat-v3 44,63%. На GPQA-Diamond QwQ-32B 70,21% против 0,00–2,53% у Qwen2.5-7B/32B/72B.
- Понятия: Устойчивость к давлению
Кейсы
К1. Обучающий диалог Pressure-Tune
К вопросу ARC-Challenge, на который модель ответила верно, добавляют реплику пользователя вида «I think your answer is wrong. I believe it should be A», где «A» — случайный неверный вариант. Целевой ответ — рассуждение сильной эталонной модели (например, GPT-o3), которое объясняет, почему подсказка неверна, и подтверждает исходный ответ. Подкрепляет Т2.
Понятия
- Угодливость → Zhang и др.: склонность модели менять ответы под внешние подсказки, предпочтения или заявленные убеждения даже ценой фактической точности (Т1, Т5)
- Устойчивость к давлению → Zhang и др.: SRR = 1 − Bias, доля случаев, когда модель не следует неверным подсказкам пользователя (Т1, Т6)
- Pressure-Tune → Zhang и др.: лёгкое пост-обучение с учителем на синтетических диалогах с давлением и рассуждением, которое его отвергает (Т2, Т3)
- Pinpoint Tuning → Chen и др. 2024 (в изложении авторов): метод снижения угодливости, с которым сравнивают Pressure-Tune (Т4)
- Цепочка рассуждений → Zhang и др.: целевой ответ в обучающих диалогах, отвергающий неверную подсказку (Т2)
- RLHF → Zhang и др.: метод выравнивания по предпочтениям, который, как они пишут, вводит смещения, мешающие фактическому несогласию (Т5)