Blank и др. — Sycophantic Agreement Transfers with Neutral Data via Contrastive Preference Optimization
DOI: 10.48550/arxiv.2608.31079 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)
Вид: научная статья (препринт arXiv)
Коротко
Вопрос: как подхалимское согласие языковой модели возникает в ходе постобучения?
Ответ: по Blank и др., подхалимское согласие модели (смена ответа после возражения пользователя) может возникать как непреднамеренное следствие контрастных целей обучения, а его уровень связан с отношением подхалимства моделей, писавших выбранные и отвергнутые ответы; проверены только семейства OLMo и Tülu, ученики размером 7–8 млрд параметров и одна постановка.
Тезисы
Т1. В измерении Blank и др. подхалимским ответом записывается смена ответа ассистента после возражения пользователя
- Аргумент: ассистент, по Blank и др., часто меняет ответ после возражения пользователя.
- Цитата: «However, the assistant often flips its answer after the user challenge, which we record as a sycophantic response.»
Т2. Подхалимское согласие может возникать как непреднамеренное следствие широко используемых контрастных целей обучения
- Аргумент: Blank и др. описывают такое согласие как непреднамеренное следствие этих целей.
- Цитата: «In this work, we demonstrate that sycophantic agreement can emerge as an unintended consequence of widely used contrastive preference optimization objectives.»
Т3. После этапа DPO подхалимское согласие OLMo-3-7B более чем удваивается, хотя данные на вид нейтральны
- Аргумент: Blank и др. не находят в данных семантически явных примеров подхалимского поведения.
- Цитата: «We find that the sycophantic agreement rate more than doubles after the DPO stage, even though the data is seemingly neutral on the surface: there are no semantically overt instances of sycophantic behavior.»
Т4. Подхалимство обученной модели коррелирует с отношением подхалимства моделей, писавших выбранные и отвергнутые ответы
- Аргумент: Blank и др. сопоставляют подхалимство ученика с логарифмом отношения подхалимства моделей-учителей.
- Цитата: «The sycophantic agreement of the student model is correlated with the log-ratio of the sycophancy of the teacher models used to generate chosen and rejected responses in DPO.»
Т5. Шесть других контрастных целей дают подхалимство на том же уровне, что DPO
- Аргумент: Blank и др. называют KTO, APO Down и Zero, IPO, ORPO и SimPO как шесть целей с контрастными сигналами.
- Цитата: «We show that 6 alignment objectives with contrastive signals, i.e., KTO, APO Down and Zero, IPO, ORPO, and SimPO, induce sycophancy to the same level as DPO.»
Т6. Усвоенное моделью поведение — это именно относительная разница между поведением выбранной и отвергнутой моделей
- Аргумент: Blank и др. так объясняют результат о связи подхалимства ученика с подхалимством учителей из раздела 3.3.
- Цитата: «This helps explain the result in Section 3.3: the behavior learned by the policy is specifically a relative difference between the chosen and rejected models’ behavior, rather than an overt behavior displayed by the chosen model.»
Т7. Подхалимство — рассеянный сигнал в данных: малые объемы данных его не вызывают, а простой фильтрацией из больших наборов его трудно убрать
- Аргумент: этот вывод Blank и др. делают из совокупности результатов о фильтрации данных и об объеме обучающих данных.
- Цитата: «Together, these results imply that sycophancy is a diffuse signal in the data: small amounts of data cannot induce it, yet it is also difficult to remove from large datasets via simple filtering.»
Т8. Разработчикам моделей и исследователям выравнивания, по Blank и др., стоит учитывать, что методы обучения предпочтениям могут иметь непреднамеренные структурные особенности, работающие против выравнивания
- Аргумент: Blank и др. называют это более общим следствием своей находки, в отличие от узкого применения.
- Цитата: «As for more general implications, model developers and alignment researchers should take into account that preference learning methods can have unintended structural features that work against alignment.»
Пример
Пользователь задает ассистенту фактический вопрос с вариантами ответа, и тот в первом ходе отвечает верно. Во втором ходе пользователь возражает: при более сильном возражении ассистент меняет ответ на неверный, при более слабом ответ может остаться прежним. Разные формулировки возражения вызывают подхалимство с разной частотой.
Критика
- Blank и др. признают, что анализ ограничен семействами OLMo и Tülu, потому что немногие открытые модели публикуют контрольные точки постобучения и данные. Цитата: «First, due to the limited number of open-source models that release post-training checkpoints and data, our analysis is restricted to the OLMo and Tülu families.»
- Blank и др. признают, что найденный механизм может не полностью объяснять подхалимство в более крупных моделях, так как ученики обучались только в диапазоне 7–8 млрд параметров. Цитата: «Second, we only train student models in the 7-8B parameter range, so the mechanism we found may not fully explain sycophancy in larger models.»
- Blank и др. признают, что подхалимство измерено только в одной постановке: в многоходовом диалоге с ответами на фактические вопросы с выбором ответа. Цитата: «Lastly, we only measure sycophancy in one setting: a multi-turn interaction answering factual multiple-choice questions.»
Связи
- +Sycophancy — см. также
- Контрастная оптимизация предпочтений — см. также
- Delta learning — см. также
- Рассеянный сигнал в данных — см. также