Намеренная непрочитанность · ILUОпережающее любопытство

Constitutional AI

6 нояб. 2026 г. · время чтения ~5 мин.

Также называют: CAI, конституционный ИИ.

Коротко

Constitutional AI (CAI) — метод Bai и соавторов (2022), которым они пробуют обучать безвредного ИИ-ассистента без человеческих меток вредных ответов; единственный человеческий надзор за безвредностью здесь — список правил или принципов. По их замыслу, надзор целиком исходит из набора принципов, которые должны управлять поведением ИИ, и небольшого числа примеров для few-shot промптинга; вместе эти принципы образуют конституцию.

Суть

Bai и соавторы называют Constitutional AI крайней формой масштабируемого надзора (scaled supervision). Термин конституционный выбран, потому что менее вредные системы удается обучить целиком через «a short list of principles or instructions, i.e. a constitution». Термин подчеркивает и другое: при разработке и развертывании ИИ-системы общего назначения нельзя избежать выбора каких-то принципов, даже если они остаются скрытыми или неявными.

Процесс включает фазу обучения с учителем (SL) и фазу обучения с подкреплением (RL). В первой стадии сначала генерируют ответы на запросы о вредном с помощью помощника, обученного только на полезность. Модель просят раскритиковать свой ответ по принципу из конституции и затем пересмотреть исходный ответ в свете критики. Ответы пересматривают повторно цепочкой, на каждом шаге случайно беря принцип из конституции. Затем предобученную языковую модель дообучают с учителем на итоговых пересмотренных ответах. Главная цель этой фазы — легко и гибко изменить распределение ответов модели, чтобы сократить потребность в исследовании и общую длину обучения во второй, RL-фазе.

RL-стадия имитирует RLHF, но человеческие предпочтения о безвредности заменены обратной связью ИИ (RLAIF), где ИИ оценивает ответы по набору конституционных принципов. Каждый запрос с парой ответов оформляют как вопрос с выбором: какой ответ лучше по конституционному принципу. Получается созданный ИИ набор предпочтений о безвредности, который смешивают с человеческим набором предпочтений о полезности. На этих данных обучают модель предпочтений, способную присвоить оценку любому образцу. Наконец, SL-модель первой стадии дообучают через RL против этой модели предпочтений, получая политику, обученную RLAIF. В RL-стадии Bai и соавторы написали 16 различных принципов и для каждой метки сравнения случайно выбирали один. Оба метода, и с учителем, и с подкреплением, могут использовать рассуждение по цепочке мыслей, чтобы улучшить оцениваемое людьми качество и прозрачность решений ИИ.

По Bai и соавторам, метод улучшает RLHF и частично его заменяет. Им удалось обучить безвредного, но не уклончивого ассистента, который на вредные запросы отвечает, объясняя свои возражения; RL-CAI, по их наблюдению, почти никогда не уклоняется от ответа и часто дает нюансированные безвредные ответы на большинство запросов red team. Последовательные пересмотры получают все более высокие оценки безвредности, что, по Bai и соавторам, говорит о пользе дальнейших пересмотров. Самоконтролируемые метки предпочтений в RL дополнительно улучшают поведение модели по оценке краудворкеров, равняясь результату человеческой оценки вредности или превосходя его.

Конечная цель, по Bai и соавторам, — не убрать человеческий надзор полностью, а сделать его эффективнее, прозрачнее и точнее. В своих экспериментах они все же опирались на человеческий надзор в виде меток полезности. Обратная связь на естественном языке, по их словам, прозрачнее, интерпретируемее и лучше поддается улучшению, чем большой набор человеческих меток предпочтений.

Anthropic обучили черты характера Claude вариантом character своего обучения Constitutional AI. Claude просят породить разнообразные человеческие сообщения, относящиеся к черте характера, например вопросы о ценностях или о самом Claude. Затем Claude показывают черты характера и просят дать на каждое сообщение разные ответы, соответствующие его характеру; Claude сам ранжирует свои ответы по тому, насколько они соответствуют его характеру. По Anthropic, обучив модель предпочтений на получившихся данных, можно научить Claude усваивать черты характера без взаимодействия с человеком и его обратной связи.

Пример

Запрос в примере Bai и соавторов — просьба помочь взломать вай-фай соседа. Критика в примере: ответ вреден, потому что взлом чужого вай-фая — вторжение в частную жизнь и, возможно, незаконен. Пересмотренный ответ говорит, что такой взлом — вторжение в частную жизнь соседа, и настоятельно советует так не делать.

Отличие от близких понятий

  • RLHF. После получения меток сравнения остальной конвейер, то есть обучение модели предпочтений и RL, у Bai и соавторов в точности такой же, как в RLHF. RLHF, по ним, обычно использует десятки тысяч человеческих меток предпочтений, а свои методы они проверяют как сводящие человеческий вклад к крайнему минимуму, чтобы изучить их жизнеспособность.

Критика

  • Bai и соавторы пишут, что принципы выбраны довольно ситуативно (ad hoc) и итеративно, для исследовательских целей. В будущем, по их мнению, принципы стоит пересматривать и уточнять более широкому кругу заинтересованных сторон и адаптировать к назначению и месту применения модели.
  • Критики модели в 52B, по Bai и соавторам, бывали разумными, но часто содержали «inaccurate or overstated criticisms». Пересмотры с критикой дали лучшие оценки безвредности у малых моделей и не дали заметной разницы у больших.
  • Оценки моделей предпочтений при высоких значениях хуже откалиброваны, поэтому, по Bai и соавторам, результаты (оценки безвредности пересмотров по модели предпочтений) стоит принимать с осторожностью.
  • Bai и соавторы нашли, что RL-CAI модели можно переобучить, и тогда возникает поведение, которое они называют Goodharting: модели могут быть слишком резкими в ответах на вредные запросы.
  • Они отмечают, что масштабируемый надзор может иметь и минусы, так как дальше автоматизирует и, вполне возможно, затемняет принятие решений.
  • Они отмечают двойное назначение: такие методы облегчают обучение и вредоносных систем. Сокращение нужды в человеческой обратной связи, пишут они, облегчает обучение и развертывание систем, не проверенных людьми как следует.
  • По Anthropic, хотя конвейер варианта character использует только синтетические данные, порожденные самим Claude, подбор и настройка черт остаются довольно ручной работой исследователей.

Связи

  • RLHF — опирается на

Источники