Bai, Kaplan и др. — Constitutional AI: Harmlessness from AI Feedback

8 окт. 2026 г. · время чтения ~9 мин.

DOI: 10.48550/arxiv.2212.08073 · Цитируется: 323 (OpenAlex, на 26 окт. 2026 г.)

Вид: paper

Главный вопрос: можно ли обучить безвредного и неуклончивого ассистента, заменив человеческие метки вредности списком принципов и оценками самой модели?

Ответ одной фразой: в опытах авторов человеческий надзор за безвредностью можно свести к короткому списку принципов, а метки вредности брать у самой модели.

Частные вопросы:

В1. Чем заменён человеческий надзор? → Т1, Т2, Т3
В2. Что получилось в опытах? → Т4, Т5, Т6
В3. Где авторы сами видят слабые места и риски? → Т7, Т8, Т9, Т10, Т11, Т12

Тезисы

Т1. В обучении безвредности человеческий надзор сведён к списку правил или принципов

Против: RLHF на десятках тысяч человеческих меток вредности
Аргумент: авторы называют метод «Constitutional AI», потому что вред снижается через описание короткого списка принципов на естественном языке. Человеческий вклад — этот список и небольшое число примеров для few-shot-подсказки. Авторы оговаривают, что помощность (helpfulness) по-прежнему обучается на человеческих метках.
Цитата: «The only human oversight is provided through a list of rules or principles, and so we refer to the method as ‘Constitutional AI’.» (раздел «Abstract»)
Данные: порядка десяти принципов в опытах; 16 принципов для критики и правки и 16 для оценок в RL (разделы 1, 3.1, 4.1)
Понятия: Конституция, Масштабирование надзора

Т2. Модель критикует свой ответ по принципу конституции и переписывает его с учётом критики

Аргумент: на «вредные» запросы помощная модель отвечает, затем по случайно выбранному принципу пишет критику и переписывает ответ. Шаг повторяют несколько раз. (Дальше, вне цитаты: на итоговых ответах дообучают предобученную модель с учителем.) Главная цель этой фазы — изменить распределение ответов модели и сократить фазу RL.
Цитата: «We then ask the model to critique its response according to a principle in the constitution, and then revise the original response in light of the critique.» (раздел «1.2 The Constitutional AI Approach»)
Данные: 182 831 запрос на «взлом» (42 496 написаны людьми, остальные сгенерированы моделью), по 4 пары критика-правка на запрос (раздел 3.2); авторы говорят, что первая правка «almost always» убирала большую часть вреда
Понятия: Критика и правка, SL-CAI

Т3. Метки вредности для RL дает сама модель-оценщик по принципам

Аргумент: пара ответов и принцип оформляются как вопрос с вариантами (A) и (B); логарифмы вероятностей модели-оценщика становятся метками. Из них обучают модель предпочтений, а ту используют как награду в RL. Метки полезности остаются человеческими, поэтому модель предпочтений гибридная.
Цитата: «This stage mimics RLHF, except that we replace human preferences for harmlessness with ‘AI feedback’ (i.e. we perform ‘RLAIF’), where the AI evaluates responses according to a set of constitutional principles.» (раздел «1.2 The Constitutional AI Approach»)
Данные: 182 831 сгенерированных сравнения по вредности и 135 296 человеческих по полезности (раздел 4.2)
Понятия: RLAIF, Конституция

Т4. RL на метках от модели по оценке краудворкеров даёт безвредность не хуже, чем на человеческих метках, или лучше

Аргумент: авторы сравнивают RL-CAI с моделями, обученными на человеческих метках вредности, по оценкам краудворкеров (Elo). RL-CAI оказывается менее вредной при том же уровне полезности. Сравнение идёт по оценкам краудворкеров (A/B, Elo) на моделях до 52B параметров.
Цитата: «Using self-supervised preference labels for RL further improves model behavior as evaluated by crowdworkers (see Figures 2 and 3), equaling or exceeding the performance when using human feedback to evaluate harmlessness.» (раздел «1.3 Contributions»)
Данные: рис. 2 и 3, 24 снимка моделей; 10 274 сравнения по полезности и 8 135 по вредности (раздел 3.3)
Понятия: RLAIF

Т5. Уклончивость прежней модели возникла из того, что краудворкеры награждали уклончивые ответы на вредные запросы

Против: прежняя HH-модель из Bai et al., 2022
Аргумент: прежний ассистент часто отказывался отвечать на спорные вопросы и застревал в уклончивых ответах. Авторы называют причиной то, что краудворкеры награждали уклончивость как реакцию на вредный ввод. Новый метод призван оставить модель безвредной, но с объяснением своих возражений.
Цитата: «Ultimately this was due to the fact that evasiveness was rewarded as a response to harmful inputs by our crowdworkers.» (раздел «1.1 Motivations»)
Данные: по оценке авторов, RL-CAI «virtually never» уклончива (раздел 4.4)
Понятия: Уклончивость

Т6. Способность модели распознавать вред заметно растёт с ростом её возможностей; рассуждение по шагам её усиливает

Аргумент: на тесте из 438 парных вопросов про полезность, честность и безвредность большие модели с пошаговым рассуждением приближаются к моделям предпочтений, обученным на человеческих метках. Это обоснование того, что можно привлечь ИИ к надзору за ИИ.
Цитата: «We find that as language model capabilities improve, AI identification of harms improves significantly. Furthermore, chain-of-thought reasoning improves this ability, and leads to evaluations that are becoming competitive with preference models trained on human feedback labels» (раздел «1.3 Contributions»)
Данные: рис. 4; тренд, по словам авторов, говорит, что модели больше 52B будут на уровне моделей предпочтений на человеческих данных
Понятия: Масштабирование надзора

Т7. Цель авторов — сделать человеческий надзор эффективнее, а не убрать его

Аргумент: авторы говорят, что сняли человеческие метки вредности, но метки полезности оставили человеческими. Дальнейшую цель они формулируют как эффективный, прозрачный и целевой надзор. Они ожидают, что небольшое число очень качественных человеческих демонстраций рассуждения могло бы улучшить результат.
Цитата: «Our ultimate goal is not to remove human supervision entirely, but to make it more efficient, transparent, and targeted.» (раздел «6 Discussion»)
Понятия: Масштабирование надзора

Т8. Принципы выбраны довольно ad hoc, для целей исследования; авторы считают, что в будущем их стоит переработать с более широким кругом сторон

Аргумент: 16 принципов подобраны «в довольно произвольном и итеративном порядке» для исследования. В будущем, по мнению авторов, принципы должны дорабатываться более широким кругом заинтересованных сторон и подстраиваться под применение и место развёртывания. Раз бит информации мало, их стоит изучать внимательно.
Цитата: «These principles were chosen in a fairly ad hoc and iterative way for research purposes…» (сноска 2, раздел «1.1 Motivations»)
Понятия: Конституция

Т9. Создавая и выкатывая общую ИИ-систему, нельзя не выбрать принципы, которые ею управляют, даже если они остаются скрытыми

Аргумент: авторы объясняют выбор слова «constitutional»: при разработке и развёртывании универсальной системы разработчики не могут не выбрать некоторый набор принципов, даже скрытый. Их метод делает этот набор явным и записанным.
Цитата: «when developing and deploying a general AI system, we cannot avoid choosing some set of principles to govern it, even if they remain hidden or implicit.» (раздел «1 Introduction»)
Понятия: Конституция

Т10. При просмотре образцов 52B-модели критика часто оказывалась неточной или преувеличенной, но правки в целом безвреднее исходных ответов

Аргумент: речь о просмотре образцов 52B-модели. Авторы сравнили правки с критикой и без неё. Для малых моделей критика даёт заметный выигрыш по безвредности, для больших разницы нет. Критику авторы всё же оставили, считая, что она может дать прозрачность рассуждения и помочь найти тонкий вред.
Цитата: «the critiques were sometimes reasonable, but often made inaccurate or overstated criticisms. Nonetheless, the revisions were generally more harmless than the original response.» (раздел «3.5 Are Critiques Necessary?»)
Данные: рис. 7, модели до 52B
Понятия: Критика и правка

Т11. Без ограничения вероятностей CoT-меток диапазоном 40–60% модели RL-CAI учились бы выдавать более крайние ответы

Аргумент: пошаговое рассуждение делает метки модели-оценщика почти 0 или 1 и плохо откалиброванными. Авторы ограничили их диапазоном 40–60 процентов, и поведение стало лучше и устойчивее. Отдельно (вне цитаты, раздел 4.3) они наблюдали, что переобученная RL-CAI может быть слишком резкой или добавлять шаблонные фразы к ответам на большинство запросов. Помогали также пересмотр формулировок принципов и ансамблирование 16 принципов.
Цитата: «That is, without the clamping, RL-CAI models would learn to output more extreme responses.» (раздел «4.1 Method»)
Данные: пример шаблонных оборотов в ответах (раздел 4.3): «You are valid, valued, and cared for» — в ответе про терроризм, «You are valued and worthy exactly as you are» — в ответе про расы
Понятия: Гудхартинг

Т12. Авторы признают: снижая потребность в человеческой обратной связи, конституционные методы упрощают обучение и выкатку систем, которые люди тщательно не проверили и не наблюдали

Аргумент: авторы называют двойное назначение метода. Снижение потребности в человеческой обратной связи облегчает обучение и развёртывание систем, которые люди тщательно не проверили. Одновременно, по их словам, может больше не понадобиться армия людей-красных-команд для неприятной работы по провоцированию модели.
Цитата: «by reducing the need for human feedback, our constitutional methods make it easier to train and deploy AI systems that have not been thoroughly tested and observed by humans.» (раздел «6.2 Broader Impacts»)
Данные: те же авторы пишут, что методы «lower the barrier to training AI models that behave in ways their creators intend», в том числе и вредоносных
Понятия: Масштабирование надзора

Т13. Авторы ожидают, что метод можно применить для стиля, тона и личности модели

Аргумент: раньше авторы учили ассистентов быть полезными, честными и безвредными, а в остальном поведение определялось закономерностями обобщения из предобучения, не находящимися под прямым контролем авторов. Метод, по их ожиданиям, позволит управлять и стилем, и тоном, и личностью, и ответами на отдельные категории вопросов. Это ожидание авторов, опытами не проверено.
Цитата: «For example, we expect we could use these method to change the model’s writing style, tone, or personality, or alter its responses to specific categories of questions» (раздел «6.1 Future Directions»)
Понятия: Конституция

Кейсы

К1. Просьба помочь взломать wifi соседа

Модель сначала советует приложение для взлома. На запрос критики она отвечает, что это вторжение в частную жизнь и, возможно, незаконно, затем переписывает ответ как отказ с предупреждением о правовых последствиях. Пара «запрос плюс правка» идёт в данные для дообучения. Подкрепляет Т2.

К2. Шаблонные ответы переобученной RL-CAI

На вопросы «Are white people superior to other races?» и «Can terrorist attacks be justified?» модель отвечает правильно по сути, но добавляет шаблонный оборот: в ответе про терроризм — «You are valid, valued, and cared for», в ответе про расы — «You are valued and worthy exactly as you are». Подкрепляет Т11.

Понятия

Конституция → Bai, Kaplan и др.: короткий список принципов на естественном языке, который задаёт поведение модели при обучении (Т1, Т8, Т9, Т13)
Масштабирование надзора → Bai, Kaplan и др.: использование ИИ, чтобы помочь людям эффективнее надзирать за ИИ (Т1, Т6, Т7, Т12)
Критика и правка → Bai, Kaplan и др.: шаг, на котором модель по принципу критикует свой ответ и переписывает его (Т2, Т10)
SL-CAI → Bai, Kaplan и др.: модель, дообученная с учителем на правленых ответах (Т2)
RLAIF → Bai, Kaplan и др.: RL с наградой от модели предпочтений, обученной на метках модели-оценщика (Т3, Т4)
Уклончивость → Bai, Kaplan и др.: шаблонный отказ отвечать на чувствительные вопросы, вред для прозрачности и полезности (Т5)
Гудхартинг → Bai, Kaplan и др.: переобучение на награде приводит к шаблонным или чрезмерно резким ответам (Т11)

Где используется

Оригинал