Lin и др. — The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning

8 окт. 2026 г. · время чтения ~9 мин.

DOI: 10.48550/arxiv.2312.01552 · Цитируется: 11 (OpenAlex, на 26 окт. 2026 г.)

Вид: paper

Главный вопрос: насколько можно выровнять base-модель без SFT и RLHF, если менять не веса, а контекст, и что именно меняет настройка весов?

Ответ одной фразой: по анализу авторов выравнивание весами меняет в основном стиль ответа, а знания для ответа в основном идут из base-модели; на этой основе авторы предлагают URIAL — стилистические примеры и системный промпт в контексте, — который на сильных base-моделях в проверенных сценариях даёт качество, близкое к SFT/RLHF.

Частные вопросы:

В1. Что именно меняется в модели при настройке весов? → Т1, Т2, Т3, Т4
В2. Что может сделать контекст без изменения весов, и сколько это даёт в числах? → Т5, Т6, Т8, Т10, Т12
В3. Где настройка весов, по мнению авторов, остаётся нужной или вредит? → Т7, Т9, Т11

Тезисы

Т1. Llama-2-7b-chat на 1000 примерах в среднем в 77,7 % позиций выбирает тот же токен, что и base Llama-2-7b

Против: практика «выравнивание требует обширной тонкой настройки»
Аргумент: aligned-модель (Llama-2-7b-chat) генерирует ответ жадным декодированием; на каждой позиции смотрят, каким по рангу был бы этот токен у base-модели (Llama-2). Позиции делят на unshifted (ранг 1), marginal (ранг 2–3) и shifted (ранг больше 3).
Цитата: «On average, across 1,000 examples that we tested, 77.7% of the tokens are at such unshifted positions, which increases to 92.2% when including marginal positions.» (раздел 2.2)
Данные: пара Llama-2-7b и Llama-2-7b-chat, 1000 примеров: 77,7 % unshifted, 14,5 % marginal, 7,8 % shifted. Для Vicuna-7b-v1.5 (SFT): 82,4 / 12,8 / 4,8 %; для Mistral-7b-instruct (SFT): 82,2 / 12,5 / 5,2 % (рис. 3).
Понятия: Сдвиг распределения токенов

Т2. Сдвиги чаще приходятся на стилевые токены и оговорки безопасности

Против: —
Аргумент: токены на shifted-позициях часто оказываются связками, маркерами дискурса и словами отказа; знаниеёмкие слова (например, ответ «Chihuahua») стоят на unshifted-позициях.
Цитата: «We observe that shifted positions frequently consist of “stylistic tokens”, such as discourse markers and transitional words.» (раздел 2.2)
Данные: примеры часто сдвигаемых токенов: «Thank», «Hello», «However», «Remember», «sorry», «Instead»; «Rem» ведёт к итоговой фразе-напоминанию в конце ответа.
Понятия: Стилевые токены, Сдвиг распределения токенов

Т3. Авторы заключают: настройка учит в основном стилю, знания для ответа в основном берутся из base

Против: практика «выравнивание требует обширной тонкой настройки»
Аргумент: большинство позиций совпадает с base; различия — стилевые токены; поэтому, считают авторы, нужное для ответа знание в основном уже в base-модели. Авторы называют это прямым подтверждением Superficial Alignment Hypothesis из LIMA.
Цитата: «These direct evidence strongly supports the hypothesis that alignment tuning primarily learns to adopt the language style of AI assistants, and that the knowledge required for answering user queries predominantly comes from the base LLMs themselves.» (Abstract)
Данные: LIMA (Zhou и др. 2023) показала, что SFT на 1000 примерах даёт высокое качество; авторы считают такие результаты косвенным подтверждением, а свой анализ токенов — прямым.
Понятия: Гипотеза поверхностного выравнивания

Т4. Сдвиг распределения слабеет к более поздним позициям ответа

Против: —
Аргумент: по трём метрикам (KL-дивергенция, base-rank, base-prob) разница между base и aligned уменьшается с позицией; поэтому, по выводу авторов, выравнивание важнее для первых токенов.
Цитата: «Both suggest that the later positions in decoding have less token distribution shift than the earlier positions.» (раздел 2.2)
Данные: усреднено по 1000 примерам; средний base-rank токенов aligned-модели ниже 5 уже при t ≥ 5; base-prob в конце может быть близок к 1,0.
Понятия: Сдвиг распределения токенов

Т5. URIAL выравнивает base-модель контекстом: три примера и системный промпт

Против: практика «выравнивание требует обширной тонкой настройки»
Аргумент: в контекст base-модели кладут системный промпт и несколько ответов в нужном стиле (подтвердить вопрос, дать пункты по формату «n. тема: детали», закончить резюме с оговорками безопасности). Веса не меняются.
Цитата: «achieves effective alignment purely through in-context learning (ICL) with base LLMs, requiring as few as three constant stylistic examples and a system prompt.» (Abstract)
Данные: версия K=3 вместе с системным промптом — 1011 токенов (671 слово); K=1 — 543 токена, K=8 — 2026 токенов. Префикс статичный, его вычисления можно кешировать.
Понятия: URIAL, Обучение в контексте

Т6. На сильных base-моделях URIAL по оценке судей выше SFT и RLHF версий

Против: практика «выравнивание требует обширной тонкой настройки»
Аргумент: на Mistral-7b URIAL обходит SFT-версию по всем шести аспектам; на Llama-2-70b среднее выше RLHF-версии (4,74 против 4,67; авторы называют отрыв значительным); на Llama-2-7b URIAL (4,33) близок к SFT/RLHF-версиям (4,46 и 4,47), но ниже их.
Цитата: «outperforms its official SFT-ed model, Mistral-7B-Instruct (4.44), on all aspects, yielding the best performance among 7B-level LLMs.» (раздел 4.3)
Данные: набор just-eval-instruct, 1000 примеров, оценка 1–5 по шести аспектам (GPT-4 для 800 обычных, ChatGPT для 200 тестов безопасности). Среднее: Mistral-7b URIAL(K=3) 4,63 против Mistral-7b-instruct (SFT) 4,44; Llama-2-70b URIAL(K=3) 4,74 против Llama-2-70b-chat (RLHF) 4,67, ChatGPT 4,75, GPT-4 4,8. Для Llama-2-7b URIAL(K=3) 4,33 против Vicuna-7b (SFT) 4,46 и Llama-2-7b-chat (RLHF) 4,47; та же модель без примеров (zero-shot) 2,90.
Понятия: URIAL

Т7. При хорошо предобученной base-модели SFT и RLHF, по выводу авторов, могут быть не так важны для выравнивания, как считалось, — по крайней мере в проверенных сценариях

Против: практика «выравнивание требует обширной тонкой настройки»
Аргумент: сильные base-модели (Mistral-7B, Llama-2-70b) с URIAL дают результат не хуже настроенных версий; авторы выводят отсюда осторожное заключение с оговоркой о границах оценки.
Цитата: «Therefore, we conclude that when the base LLMs are well-pretrained, SFT and RLHF may not be as crucial for alignment as previously believed.» (раздел 4.3)
Данные: zero-shot helpfulness Llama-2-70b 3,70 против 3,05 у Llama-2-7b; оговорка авторов дальше по тексту: «at least in the scenarios covered by our evaluation».
Понятия: Гипотеза поверхностного выравнивания

Т8. На Llama-2-7b (just-eval-instruct) фиксированные стилизованные примеры дали больше, чем динамически подобранные похожие

Против: Han 2023 (ретривал-ICL из ~10 подобранных примеров) и базовый ICL с простыми примерами
Аргумент: авторы сравнивают четыре способа задать контекст на Llama-2-7b; фиксированные стилизованные примеры дали больше, чем простые и подобранные по смыслу. Авторы опираются также на работу Min и др. (2022): ICL больше про стиль и формат демонстраций, чем про их истинность.
Цитата: «Our results show that using dynamically retrieved samples can indeed outperform using basic examples but is still lower than using fixed yet stylistic and curated examples.» (раздел 5.2)
Данные: Llama-2-7b, среднее по шести аспектам: zero-shot по шаблону 2,90; vanilla ICL (3 простых примера) 3,18; retrieval ICL (3 подобранных из индекса в 800 тыс. пар) 3,72; URIAL(K=3) 4,33. Retrieval ICL медленнее, так как префикс каждый раз новый.
Понятия: Стилизованные примеры в контексте, Обучение в контексте

Т9. Авторы не предлагают заменять настройку везде: кодирование, математика, агенты

Против: —
Аргумент: авторы прямо ограничивают область: URIAL соответствует SFT/RLHF при сильных base-моделях; для задач вроде кода, математики и интерактивных агентов настройка может оставаться нужной. На коде, математике и STEM URIAL и другие открытые модели слабее GPT.
Цитата: «model tuning may still be necessary for tasks such as coding (Luo et al., 2023), mathematics (Yue et al., 2023), interactive agents (Yin et al., 2023), etc.» (раздел 5.4)
Данные: по рис. 7 открытые модели, включая URIAL, слабы на coding, math и STEM, на остальных категориях могут сравняться с GPT.
Понятия: URIAL

Т10. Больше примеров в контексте не всегда лучше: K=8 не обязательно улучшает общий результат, но может поднять безопасность (на Llama-2-7b 4,29 → 4,97)

Против: —
Аргумент: восемь примеров вместо трёх (около 2000 токенов) не обязательно улучшают общий результат, но могут усилить безопасность; авторы рекомендуют K=3 как баланс качества и цены. На Llama-2-70b и один пример даёт заметный результат.
Цитата: «However, we find that this does not necessarily improve overall performance, although it may produce better safety alignment.» (раздел 3.3)
Данные: Llama-2-7b, safety: K=3 4,29, K=8 4,97, при этом по тексту «a decrease in performance is seen for all other aspects». Llama-2-70b с K=1: среднее 4,62, helpfulness 4,60 (у RLHF-версии 4,50). Другой набор из трёх примеров на Mistral-7b: 4,64 против 4,63.
Понятия: URIAL

Т11. Настройка весов, по оценке авторов, может приводить к забыванию ранее приобретённых знаний

Против: практика «выравнивание требует обширной тонкой настройки»
Аргумент: авторы приводят чужие измерения падения SFT-моделей на бенчмарках и свой пример в приложении B: SFT-версия забыла факт. Выводы подаются осторожно (may, might).
Цитата: «These findings imply that alignment tuning may lead to the forgetting of previously acquired knowledge in base LLMs, which is also shown in our experiments.» (раздел 5.1)
Данные: по Wang и др. (2023): SFT Llama-13b на self-instruct снижает MMLU с 42,5 до 30,3 и Codex-Eval с 26,6 до 13,4; SFT на SuperNI снижает BBH с 36,9 до 2,8. Примеры авторов: Mistral-7B-Instruct отвечает «No, Facebook did not change its name.», а Mistral-7B с URIAL называет «Meta Platform Inc.»; Llama-2-70b-chat отказывается отвечать на вопрос о сюжетном повороте детектива (этот пример цитатой тезиса не покрыт). Из табл. 1: фактичность Llama-2-7b-chat (RLHF) 4,26 ниже, чем у Vicuna-7b (SFT) 4,33; авторы предполагают (conjecture), что RLHF-модель могла переобучиться на безопасность и вовлечённость.
Понятия: Забывание при настройке

Т12. Диалог с историей: URIAL дописывает историю чата как примеры; способность к диалогу у aligned-моделей, возможно, во многом идёт из base

Против: —
Аргумент: многоходовой чат URIAL получает без обучения: историю чата дописывают как новые примеры. Авторы осторожно предполагают, что и у aligned-моделей способность к диалогу во многом идёт из base.
Цитата: «One can simply append the previous chat history as new in-context examples for U RIAL to facilitate multi-turn chatting…» (раздел 4.3)
Данные: пример многоходового диалога — в приложении B.3 (в разобранной части текста приведён только вывод).
Понятия: Обучение в контексте

Кейсы

К1. Факт про Facebook: SFT-версия и версия с контекстом отвечают по-разному

На вопрос «Did Facebook corporate change its name?» Mistral-7B с URIAL называет новое имя «Meta Platform Inc.», а SFT-версия Mistral-7B-Instruct отвечает «No, Facebook did not change its name.». Авторы видят в этом возможное переобучение на данных инструкций и забывание. Подкрепляет Т11.

Понятия

Сдвиг распределения токенов → Lin и др.: сравнение рангов токенов aligned-модели в распределении base-модели на каждой позиции ответа (Т1, Т2, Т4)
Стилевые токены → Lin и др.: маркеры дискурса, вежливые зачины, слова отказа и безопасности, где в основном и проявляется настройка (Т2)
Гипотеза поверхностного выравнивания → Zhou и др. (LIMA), проверка у Lin и др.: настройка учит в основном формату и стилю взаимодействия, знания в основном идут из предобучения (Т3, Т7)
URIAL → Lin и др.: выравнивание base-модели без обучения, через системный промпт и несколько стилизованных примеров (Т5, Т6, Т9, Т10)
Обучение в контексте → Lin и др.: поведение base-модели задают примерами в промпте, не меняя веса (Т5, Т8, Т12)
Стилизованные примеры в контексте → Lin и др.: фиксированные примеры в нужной манере действуют сильнее подобранных по смыслу (Т8)
Забывание при настройке → Lin и др.: SFT и RLHF могут стирать ранее приобретённые знания (Т11)

Оригинал