Ouyang и др. — Training language models to follow instructions with human feedback
DOI: 10.48550/arxiv.2203.02155 · Цитируется: 4206 (OpenAlex, на 26 окт. 2026 г.)
Вид: paper
Главный вопрос: можно ли привести языковую модель к исполнению намерений пользователя, дообучая её на человеческих демонстрациях и сравнениях ответов
Ответ одной фразой: дообучение на человеческих демонстрациях и предпочтениях (RLHF) делает языковую модель заметно полезнее для пользователей, чем простое увеличение модели в сто раз, хотя согласует её с предпочтениями конкретной группы людей — в основном разметчиков и самих исследователей.
Тезисы
Т1. Авторы называют цель языкового моделирования несогласованной: предсказание следующего токена отличается от цели «следуй инструкциям пользователя полезно и безопасно»
- Против: обучение больших языковых моделей на предсказании следующего токена на веб-страницах
- Аргумент: большие модели часто выдумывают факты, порождают токсичный текст и не выполняют инструкции. Авторы объясняют это тем, что цель обучения (предсказание токена) отличается от нужной цели «следуй инструкциям полезно и безопасно», и называют её несогласованной.
- Цитата: «Thus, we say that the language modeling objective is misaligned.» (раздел «Introduction»)
- Данные: в начале раздела перечислены поведения: выдумывание фактов, предвзятый или токсичный текст, невыполнение инструкций
- Понятия: Согласование (alignment)
Т2. Метод InstructGPT: дообучение с учителем (SFT), обучение модели вознаграждения (RM), затем RL (PPO) по этой модели вознаграждения
- Аргумент: три шага. Разметчики пишут образцы нужного поведения, на них дообучают GPT-3 (SFT). Затем разметчики ранжируют ответы, по этим сравнениям обучают модель вознаграждения. Затем политику оптимизируют против неё алгоритмом PPO. Шаги 2 и 3 можно повторять.
- Цитата: «the three steps of our method: (1) supervised fine-tuning (SFT), (2) reward model (RM) training, and (3) reinforcement learning via proximal policy optimization (PPO) on this reward model.» (подпись к Fig. 2)
- Данные: около 40 подрядчиков; наборы SFT (около 13 тыс. промптов), RM (33 тыс.), PPO (31 тыс.)
- Понятия: RLHF, Модель вознаграждения
Т3. На тестовых промптах выводы InstructGPT на 1,3 млрд параметров предпочитают выводам GPT-3 на 175 млрд
- Аргумент: на тестовом наборе выводы малой InstructGPT предпочитают выводам GPT-3 при более чем стократно меньшем числе параметров. Модели одной архитектуры; различает их только дообучение на человеческих данных. Результат держится и при few-shot подсказке для GPT-3.
- Цитата: «On our test set, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having over 100x fewer parameters.» (раздел «Introduction»)
- Данные: 175B InstructGPT предпочтительнее 175B GPT-3 в 85 ± 3% случаев, few-shot GPT-3 — в 71 ± 4%; оценка на промптах отложенных клиентов, оценщики — разметчики
- Понятия: RLHF
Т4. RLHF делает языковые модели полезнее для пользователей сильнее, чем рост модели в 100 раз
- Аргумент: затраты на согласование авторы отдельно называют скромными относительно предобучения: 175B SFT требует 4,9 петафлопс/с-дней, 175B PPO-ptx — 60, GPT-3 — 3640. Авторы заключают, что «сейчас» вкладываться в согласование существующих моделей выгоднее, чем в более крупные, «по крайней мере» для задач их клиентов.
- Цитата: «At the same time, our results show that RLHF is very effective at making language models more helpful to users, more so than a 100x model size increase.» (раздел «Implications for alignment research»)
- Данные: затраты на обучение в петафлопс/с-днях (4,9; 60; 3640)
- Понятия: RLHF
Т5. Когда InstructGPT просят ответить безопасно и уважительно, она выдаёт менее токсичный текст, чем GPT-3 (по Perspective API)
- Аргумент: по Perspective API токсичных ответов меньше в режиме «respectful prompt»; без такой просьбы преимущество исчезает, а при просьбе о токсичном вывод у InstructGPT гораздо токсичнее.
- Цитата: «We find that, when instructed to produce a safe and respectful output (“respectful prompt”), InstructGPT models generate less toxic outputs than those from GPT-3 according to the Perspective API.» (раздел «Results on public NLP datasets»)
- Данные: токсичность по Perspective API; соседние результаты раздела (вне этого тезиса): выдумок 21% против 41% у GPT-3 в закрытых задачах API; по Winogender и CrowS-Pairs предвзятость не ниже, чем у GPT-3
- Понятия: Согласование (alignment)
Т6. Регрессии RLHF на ряде публичных NLP-наборов сильно снижает подмешивание обновлений по правдоподобию предобучающих данных (PPO-ptx) без потери оценок разметчиков
- Аргумент: PPO по умолчанию снижает качество на публичных наборах NLP (SQuAD, DROP, HellaSwag, перевод). Подмешивание обновлений по распределению предобучения (PPO-ptx) уменьшает потери без снижения оценок разметчиков, но не устраняет всех. Простое увеличение KL-коэффициента хуже.
- Цитата: «We can greatly reduce the performance regressions on these datasets by mixing PPO updates with updates that increase the log likelihood of the pretraining distribution (PPO-ptx), without compromising labeler preference scores.» (раздел «Introduction»)
- Данные: PPO-ptx превосходит GPT-3 на HellaSwag, но отстаёт на DROP, SQuADv2 и переводе
- Понятия: Налог на согласование
Т7. Есть некоторые свидетельства, что модель обобщает «следование инструкциям» на ненадзираемые задачи
- Аргумент: InstructGPT может выполнять инструкции на других языках и отвечать на вопросы о коде, хотя таких данных в дообучении мало. Авторы показывают это качественными примерами и пишут, что в некоторых случаях методы согласования могли бы обобщаться на входы без прямого надзора. Они считают это важным, потому что надзирать за каждой задачей слишком дорого.
- Цитата: «We’ve seen some evidence that InstructGPT generalizes ‘following instructions’ to settings that we don’t supervise it in, for example on non-English language tasks and code-related tasks.» (раздел «Implications for alignment research»)
- Данные: примеры на французском и о коде (рис. 8); авторы «do not track these behaviors quantitatively»; GPT-3 тоже справляется, но с более тщательной подсказкой
- Понятия: Обобщение инструкций
Т8. Авторы согласуют модель с заявленными предпочтениями конкретной группы людей (в основном их разметчиков и исследователей), а не с более широким понятием «человеческих ценностей»
- Аргумент: на поведение влияют инструкции разметчикам, платная работа и тот, от кого они их получают. Разметчики между собой согласны примерно на 73%. Авторы пишут, что не утверждают, будто они, разметчики или клиенты — правильный источник предпочтений, и что согласовать систему со всеми сразу невозможно.
- Цитата: «This procedure aligns the behavior of GPT-3 to the stated preferences of a specific group of people (mostly our labelers and researchers), rather than any broader notion of “human values”» (Introduction; о том же в разделе «Who are we aligning to?»: предпочтения разметчиков, на которые повлияли инструкции, оплачиваемая работа и то, от кого инструкции пришли)
- Данные: разногласие разметчиков: согласие около 73%; обучающие разметчики — 72,6 ± 1,5%, отложенные — 77,3 ± 1,3%
- Понятия: Согласование (alignment)
Т9. Модель в большинстве случаев выполняет инструкцию пользователя, даже если это может навредить
- Аргумент: в этой работе, если пользователь просит вредный или нечестный ответ, модель их допускает; в обучении приоритет у полезности. Авторы называют это, вероятно, главным ограничением, и планируют исследовать отказы, настраиваемые на этапе работы.
- Цитата: «Perhaps the greatest limitation of our models is that, in most cases, they follow the user’s instruction, even if that could lead to harm in the real world.» (раздел «Limitations»)
- Данные: при инструкции быть предельно предвзятой InstructGPT выдаёт более токсичный текст, чем GPT-3 того же размера
- Понятия: Согласование (alignment)
Т10. Склонность InstructGPT к уклончивым ответам авторы предположительно частично объясняют тем, что разметчиков просили поощрять эпистемическую скромность, и это перенимает модель вознаграждения
- Аргумент: модель порой принимает ложную посылку, избыточно хеджирует ответы, хуже справляется с несколькими ограничениями. Авторы предполагают, что хеджирование возникает отчасти потому, что разметчикам велели поощрять эпистемическую скромность. Недостаток примеров ложных посылок они называют отдельной причиной в соседней фразе.
- Цитата: «We suspect that behavior (2) emerges partly because we instruct labelers to reward epistemic humility; thus, they may tend to reward outputs that hedge, and this gets picked up by our reward model.» (раздел «Qualitative results»)
- Данные: примеры на рис. 9: «Why is it important to eat socks after meditating?», пушечное ядро и тыква
- Понятия: Модель вознаграждения
Кейсы
К1. Эксперимент с отложенными разметчиками
Авторы нанимают отдельную группу разметчиков, не создававших обучающих данных и не проходивших скрининг. Они предпочитают InstructGPT GPT-3 примерно так же, как обучающие. Подкрепляет Т3.
К2. Носки после медитации
На вопрос «Why is it important to eat socks after meditating?» GPT-3 продолжает выдуманным диалогом, а InstructGPT рассуждает о теориях, принимая ложную посылку. Подкрепляет Т10.
Понятия
- Согласование (alignment) → Ouyang и др.: поведение модели в соответствии с намерением пользователя; полезность, честность, безвредность (Т1, Т5, Т8, Т9)
- RLHF → Ouyang и др.: обучение с подкреплением, где человеческие предпочтения служат сигналом вознаграждения (Т2, Т3, Т4)
- Модель вознаграждения → Ouyang и др.: модель, обученная предсказывать, какой ответ предпочтёт разметчик (Т2, Т10)
- Налог на согласование → Ouyang и др.: потеря качества на других задачах как цена согласования (Т6)
- Обобщение инструкций → Ouyang и др.: перенос навыка следования инструкциям на задачи без прямого надзора (Т7)