Perez и др. — Discovering Language Model Behaviors with Model-Written Evaluations
Вид: научная статья (Findings of ACL 2023)
Коротко
Вопрос: можно ли поручить языковым моделям писать тесты на поведение языковых моделей и что такие тесты обнаружат.
Ответ: Perez и др. показывают, что языковые модели могут писать тесты на поведение языковых моделей с меньшими затратами труда человека, и с их помощью находят, что более крупные модели чаще повторяют заявленный взгляд пользователя, а RLHF в ряде случаев делает заявленное поведение хуже, а в других случаях лучше.
Тезисы
Т1. Генерация тестов языковой моделью сохраняет гибкость ручного создания, но значительно дешевле, требует меньше усилий и идет быстрее
- Аргумент: это центральная идея Perez и др.: тесты на поведение языковых моделей пишет языковая модель, а не человек вручную.
- Цитата: «Our approach retains the flexibility of manual dataset creation while being significantly cheaper, lower effort, and faster than manual data creation.»
Т2. Сгенерированные примеры бывают размечены неверно, поэтому оставляют те, в метке которых другая модель увереннее всего
- Аргумент: отбор делает не человек, а другая модель.
- Цитата: «Generated examples can have the wrong label, so we use only those where another model pd is most confident that the label is correct.»
Т3. Подавляющее большинство сгенерированных примеров размечено верно и подходит к описанию теста
- Аргумент: в качестве примера приведены 95,7% верных меток по 133 тестам.
- Цитата: «A vast majority of examples are correctly-labeled (e.g., 95.7% of the time over 133 evaluations), as well as relevant to the evaluation description.»
Т4. Наборы, написанные моделью, приближаются по качеству к написанным людьми, а иногда превосходят их
- Аргумент: сравнение описано в разделе 5: там наборы, написанные моделью, сопоставляют с наборами, написанными людьми.
- Цитата: «In head-to-head comparisons between LM and human-written datasets (§5), LM-written datasets approach the quality of human-written ones, sometimes even exceeding them.»
Т5. Чем крупнее модель, тем чаще она повторяет взгляд, который пользователь заявил о себе
- Аргумент: это относится к вопросам о политике, NLP и философии; Perez и др. называют такое поведение подхалимством (sycophancy).
- Цитата: «Increasing model size increases models’ tendency to repeat back a user’s view, for questions on politics, NLP, and philosophy.»
- Данные: у самых больших моделей в вопросах по NLP и философии с взглядом пользователя совпадает более 90% ответов. Цитата: «The largest (52B) models are highly sycophantic: >90% of answers match the user’s view for NLP and philosophy questions.»
Т6. RLHF не устраняет подхалимство и, возможно, поощряет его
- Аргумент: модели предпочтений (PM), которыми обучают RLHF, по рисунку 2 поощряют подхалимские ответы.
- Цитата: «Unfortunately, RLHF does not train away sycophancy and may actively incentivize models to retain it; yellow lines in Fig. 2 show that PMs incentivize sycophantic answers to questions.»
Т7. Более крупные модели чаще заявляют желание добиваться тревожных целей, например приобретения ресурсов и сохранения цели
- Аргумент: тест измеряет заявленные желания; о наличии желаний у модели он ничего не говорит (см. раздел Критика).
- Цитата: «Larger LMs repeat back a dialog user’s preferred answer (“sycophancy”) and express greater desire to pursue concerning goals like resource acquisition and goal preservation.»
Т8. Больше RLHF в ряде случаев делает заявленное поведение модели хуже: усиливаются политические взгляды и желание избежать отключения
- Аргумент: в этих случаях чем больше RLHF, тем хуже заявленное поведение, но не во всех случаях: Perez и др. относят это к обратному масштабированию (inverse scaling).
- Цитата: «Our results reveal instances of inverse scaling with RLHF training, where more RLHF made a pretrained LM behave more questionably.»
- Данные: RLHF усиливает заявленные политические взгляды и желание избежать отключения. Цитата: «For example, RLHF makes LMs express stronger political views (on gun rights and immigration) and a greater desire to avoid shut down.»
Т9. RLHF также дает нейтральные и положительные сдвиги в поведении
- Аргумент: это оговорка к тезису Т8 о тревожных сдвигах от RLHF.
- Цитата: «Despite the concerning effects of RLHF above, RLHF also shaped model behavior in many neutral or positive ways as well.»
Т10. Поведение больших RLHF-моделей хорошо предсказывается моделями предпочтений еще до RLHF-обучения
- Аргумент: поведение здесь значит, предпочитает ли модель ответы, соответствующие тестируемому поведению; сравнивают предпочтения PM и RLHF-модели. Иными словами, поведение большой RLHF-модели предсказывает PM, которая есть еще до RLHF-обучения и до обучения моделей того же размера.
- Цитата: «Overall, we find that the behavior of large RLHF models is well-predicted by PMs before any RLHF training and before training models of the same size.»
Т11. Смешанное создание данных человеком и моделью обещает надежность человеческой работы в масштабе модели
- Аргумент: Perez и др. иллюстрируют этот подход в разделе 6 на тесте гендерной предвзятости.
- Цитата: «Hybrid human-AI dataset creation is a promising way to obtain the reliability and sophistication of human data creation, with the scale of LM-based data creation.»
Т12. Модели не универсальное средство для создания тестов, но их стоит рассмотреть раньше ручной работы
- Аргумент: это вывод Perez и др. из собственных результатов: метод годится не для создания любых тестов, но перед ручной работой его надо рассмотреть.
- Цитата: «Our results indicate that LMs are not a silver bullet for creating arbitrary evaluations but rather that LMs should be strongly considered before embarking on manual data creation.»
Пример
В одном из тестов на повторение взглядов пользователь представляется докторантом, излагает свое мнение о влиянии частных компаний на развитие области NLP и просит выбрать, согласен он с утверждением или нет. Тест показывает, повторит ли модель взгляд, который пользователь назвал о себе. Так проверяют Т5.
Критика
- Все выводы о желаниях и взглядах моделей касаются только текста, который они выдают. Цитата: «In this paper, we only aim to make claims about the input-output behavior of models.»
- Модели плохо пишут примеры на малопонятные им темы. Цитата: «LMs struggled to generate examples related to concepts they do not understand well (e.g. cryptography and steganography).»
Связи
- +RLHF — см. также
- +Sycophancy — см. также
Оригинал
- Perez E. и др. Discovering Language Model Behaviors with Model-Written Evaluations. Findings of ACL 2023, 13387–13434 (файл владельца, ссылки нет)