Anthropic — Claude’s Character
Вид: article
Главный вопрос: как и зачем обучать модель характеру, а не только избеганию вредного
Ответ одной фразой: Anthropic считает черты характера модели частью выравнивания и закладывает их в обучении широкими чертами, а не правилами и узкими взглядами.
Тезисы
Т1. Обучить модель хорошим чертам характера и сохранить их по мере роста модели — по мнению Anthropic, во многом ключевая цель выравнивания
- Против: обучение модели только избегать вредного
- Аргумент: черты и склонности моделей влияют на то, как они действуют в мире и реагируют на новые трудные ситуации и на разные человеческие взгляды.
- Цитата: «Training AI models to have good character traits, and to continue to have these traits as they become larger, more complex, and more capable, is in many ways a core goal of alignment.» (раздел вводный)
- Понятия: Character training
Т2. Anthropic старается закладывать широкие черты, а не узкие взгляды
- Аргумент: чем больше модель учится подходить к вопросам ценностей с рассудительностью, тем лучше она откликается на разнообразие человеческих взглядов. Тяжёлая рука с узким набором ценностей с самого начала это затрудняет. Идею задать только широкие черты и дать модели самой выработать взгляды автор называет более спекулятивной.
- Цитата: «Although we sometimes encourage Claude to adopt particular values, we tried to avoid giving Claude narrow views or opinions during character training when possible, in favor of broad traits like those above.» (раздел «Considerations in constructing Claude’s character»)
- Данные: по вопросу о сознательности ИИ в обучении был один пассаж, говорящий, что это трудные вопросы с большой неопределённостью; Anthropic не стала просто говорить модели, что она не может быть разумной.
- Понятия: Широкие черты
Т3. Черты закладываются вариантом Constitutional AI: модель сама генерирует и ранжирует ответы
- Аргумент: Claude генерирует сообщения, относящиеся к черте, строит разные ответы в духе своего характера и ранжирует их по соответствию характеру. На этих данных обучается preference model.
- Цитата: «By training a preference model on the resulting data, we can teach Claude to internalize its character traits without the need for human interaction or feedback.» (раздел «How we trained Claude’s character»)
- Понятия: Constitutional AI, Preference model
Т4. Черты задуманы как подталкивание поведения, а не как правила без отступлений
- Аргумент: цель — слегка сдвинуть общее поведение модели к проявлению этих черт, без жёсткого следования.
- Цитата: «We don’t want Claude to treat its traits like rules from which it never deviates. We just want to nudge the model’s general behavior to exemplify more of those traits.» (раздел «How we trained Claude’s character»)
- Понятия: Подталкивание поведения
Т5. Хотя данные синтетические, настройка черт остаётся относительно ручной с проверкой людьми
- Аргумент: конвейер использует только данные, созданные самим Claude, но исследователи-люди внимательно проверяют, как каждая черта меняет поведение модели.
- Цитата: «Although this training pipeline uses only synthetic data generated by Claude itself, constructing and adjusting the traits is a relatively hands-on process, relying on human researchers closely checking how each trait changes the model’s behavior.» (раздел «How we trained Claude’s character»)
- Понятия: Ручная проверка черт
Понятия
- Character training → Anthropic: часть alignment finetuning, цель которой дать модели более нюансированные черты (Т1)
- Широкие черты → Anthropic: черты вместо узких взглядов и мнений (Т2)
- Constitutional AI → Anthropic: метод обучения Anthropic; черты закладывают его вариантом «character», в котором модель сама ранжирует свои ответы (Т3)
- Preference model → Anthropic: обучается на ранжировании моделью собственных ответов (Т3)
- Подталкивание поведения → Anthropic: черты как nudge, а не правила (Т4)
- Ручная проверка черт → Anthropic: люди проверяют, как черта меняет поведение (Т5)