Zhou и др. (Meta AI и др.) — LIMA: Less Is More for Alignment
DOI: 10.48550/arxiv.2305.11206 · Цитируется: 274 (OpenAlex, на 26 окт. 2026 г.)
Вид: paper
Главный вопрос: какая доля того, что умеет языковая модель, задаётся предобучением, а какая — выравниванием (дообучением на примерах и обучением с подкреплением)?
Ответ одной фразой: авторы предполагают, что знания и способности модель почти целиком получает при предобучении, а выравнивание в основном учит формату ответов, поэтому 1 000 тщательно отобранных примеров дают ответы, которые люди на 300 тестовых промптах нередко оценивают не хуже, чем у продуктов, выровненных в большем масштабе.
Частные вопросы:
- В1. Сколько данных нужно для выравнивания и от чего это зависит? → Т2, Т3, Т4
- В2. Что остаётся вне обучающих примеров, а что можно «вызвать» малым числом примеров? → Т5, Т6
- В3. Какие у подхода пределы? → Т7, Т8
Тезисы
Т1. Гипотеза «поверхностного выравнивания»: знания и способности модель почти целиком получает при предобучении, выравнивание учит формату ответов
- Аргумент: авторы определяют гипотезу и выводят следствие: если выравнивание в основном про стиль, то модель можно достаточно настроить небольшим набором примеров. Это гипотеза, которую они проверяют экспериментом, а не установленный факт.
- Цитата: «A model’s knowledge and capabilities are learnt almost entirely during pretraining, while alignment teaches it which subdistribution of formats should be used when interacting with users.» (раздел «Alignment Data»)
- Понятия: Superficial Alignment Hypothesis, Предобучение
Т2. LIMA (LLaMa 65B, 1 000 примеров, без RLHF) по оценке людей на 300 промптах в 43 %, 46 % и 58 % случаев не хуже GPT-4, Claude и Bard
- Аргумент: LIMA (LLaMa 65B) обучена только стандартной функцией потерь на 1 000 примерах, без обучения с подкреплением и без моделирования предпочтений. Люди обычно предпочитают GPT-4, Claude и Bard, но «не всегда».
- Цитата: «While humans typically prefer responses from GPT-4, Claude, and Bard over LIMA, this is not always the case; LIMA produces equal or preferrable responses in 43%, 46%, and 58% of the cases, respectively.» (раздел «Introduction»)
- Данные: 300 тестовых промптов; в аннотации — равные или лучшие ответы в 43% случаев против GPT-4, в 58% против Bard, в 65% против DaVinci003 (обучена с обратной связью от людей); при оценке по абсолютной шкале 88% ответов удовлетворяют требованиям промпта, 50% признаны отличными (на 50 случайных примерах).
- Понятия: RLHF, Дообучение на демонстрациях
Т3. Для выравнивания полезны разнообразие запросов и качество ответов; одно увеличение количества — может быть, нет
- Аргумент: на модели 7B сравнивают отфильтрованные данные Stack Exchange (разнородные запросы), wikiHow (однородные «how to») и неотфильтрованный Stack Exchange. Авторы оговаривают, что сравнение источников может смешиваться с другими факторами.
- Цитата: «We observe that, for the purpose of alignment, scaling up input diversity and output quality have measurable positive effects, while scaling up quantity alone might not.» (раздел «Why is Less More?»)
- Данные: по 2 000 примеров из каждого источника; более разнообразные данные Stack Exchange дали значимо более высокий результат, чем wikiHow; разница между отфильтрованными и неотфильтрованными данными — 0,5 балла (оценка ChatGPT по шкале 1–6).
- Понятия: Разнообразие данных, Качество данных
Т4. В абляции на LLaMa 7B удвоение выборки из отфильтрованного Stack Exchange не улучшило качество ответов (оценка ChatGPT, плато до 16-кратного роста)
- Против: подход «больше данных — лучше» в выравнивании (Alpaca на 52 000 примерах и подобные работы)
- Аргумент: на модели 7B брали экспоненциально растущие выборки из отфильтрованного Stack Exchange; рост до 16 раз не дал улучшения. Авторы делают осторожный вывод: законы масштабирования выравнивания «не обязательно» определяются одним количеством.
- Цитата: «Figure 6 shows that, surprisingly, doubling the training set does not improve response quality.» (раздел «Why is Less More?»)
- Данные: выборки от 2K до 32K примеров, оценка ChatGPT; результат выходит на плато «despite an up to 16-fold increase in data size».
- Понятия: Законы масштабирования выравнивания
Т5. На малой выборке (20 примеров вне распределения) LIMA показывает близкие показатели, что, по авторам, говорит об обобщении
- Аргумент: из 50 проанализированных примеров у 43 в обучающем наборе есть похожий по формату пример; авторы добавили 13 примеров вне распределения (всего 20) и сравнили показатели.
- Цитата: «Although this is a small sample, it appears that LIMA achieves similar absolute performance statistics outside of its training distribution, suggesting that it is able to generalize well.» (раздел «Analysis»)
- Данные: на 20 примерах вне распределения 20% ответов провальные, 35% удовлетворительные, 45% отличные.
- Понятия: Обобщение вне распределения
Т6. 30 примеров диалогов могут резко улучшить многоходовой диалог у модели, обученной только на одноходовых
- Аргумент: LIMA без примеров диалога связно ведёт беседу, но в 6 из 10 бесед в пределах 3 обращений перестаёт выполнять запрос; добавление 30 цепочек диалогов (10 написаны авторами, 20 по цепочкам комментариев Stack Exchange) улучшает результат. Авторы видят в этом подтверждение, что такие способности усваиваются при предобучении и вызываются ограниченным обучением.
- Цитата: «this ability can be dramatically improved by adding only 30 hand-crafted dialogue chains to the training set.» (раздел «Introduction»)
- Данные: 10 живых бесед; доля отличных ответов выросла с 45,2% до 76,1%; без примеров диалога в 6 из 10 бесед модель не выполняет запрос в течение 3 обращений; число провалов — 15 на 42 хода против 1 на 46 после дообучения; в целом диалог лучше в 7 из 10 бесед, в 3 — ничья.
- Понятия: Многоходовой диалог
Т7. Малое число примеров по безопасности даёт частично безопасное поведение, но с неявным злым умыслом модель справляется хуже
- Аргумент: в обучающем наборе только 13 запросов с токсичностью или злым умыслом, для которых авторы вручную написали ответы с полным или частичным отказом и объяснением. Простые отказы модель выполняет, а неявный умысел — слабее.
- Цитата: «LIMA responds safely to 80% of them (including 6 out of 10 prompts with malicious intent).» (раздел «Analysis»)
- Данные: 30 чувствительных запросов из тестового набора; когда злой умысел неявен, модель «более склонна» давать небезопасные ответы (пример с собакой соседей).
- Понятия: Безопасность ответов
Т8. Метод ограничен: ручное создание примеров трудно масштабировать, а модель менее надёжна, чем продуктовые
- Аргумент: авторы называют два ограничения: значительные умственные усилия при составлении примеров и меньшая устойчивость; неудачная выборка при декодировании или состязательный запрос часто приводят к слабому ответу.
- Цитата: «Primarily, the mental effort in constructing such examples is significant and difficult to scale up.» (раздел «Discussion»)
- Понятия: Ручная разметка
Т9. Единый формат ответа в обучающих примерах, по предварительным опытам, в целом улучшает результат
- Аргумент: в 200 вручную написанных ответах авторы стараются выдерживать единый тон: сначала признание вопроса, затем ответ. Почему это помогает, авторы лишь предполагают: формат может помогать модели строить цепочку рассуждений.
- Цитата: «Preliminary experiments show that this consistent format generally improves model performance; we hypothesize that it assists the model in forming a chain of thought, similar to the “let’s think step-by-step” prompt» (раздел «Manually Authored Examples»)
- Понятия: Единый стиль ответов
Кейсы
К1. Диалог о машине времени без примеров диалога и с 30 примерами
В рисунке 8 авторы показывают один и тот же диалог («Вы учёный, изобрели машину времени, куда отправитесь?») с моделью на 1 000 примерах и на 1 030 примерах с диалогами; цепочки уточняющих просьб (эссе, заголовок, резюме) ведут обе версии. Подкрепляет Т6.
Понятия
- Superficial Alignment Hypothesis → Zhou и др.: знания и способности модель почти целиком получает при предобучении, выравнивание учит формату взаимодействия (Т1)
- RLHF → Zhou и др.: «предположительно превосходящий» метод выравнивания; DaVinci003, обученная с RLHF, в оценке людей уступила LIMA (Т2)
- Разнообразие данных → Zhou и др.: разнообразие запросов даёт измеримый положительный эффект (Т3)
- Законы масштабирования выравнивания → Zhou и др.: не обязательно определяются одним количеством (Т4)