Yang и др. — From Copying to Composition: How Language Models Develop In-Context Learning
DOI: 10.48550/arxiv.2610.19113 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)
Вид: эмпирическая статья (препринт arXiv)
Коротко
Вопрос: как в ходе обучения языковые модели осваивают in-context learning (ICL) и чем копирование ближайшего примера отличается от композиции?
Ответ: Yang и др. по анализу чекпойнтов на контролируемой задаче показывают, что модели начинают отдавать приоритет запрошенному значению перед ближайшим конфликтующим примером задолго до того, как точность выходит за случайный уровень, и заключают, что ICL усваивается как несколько способностей, каждая по своему графику.
Тезисы
Yang и др. возражают против оценки ICL только по точности итогового ответа (Т2).
Т1. Четыре стороны ICL развиваются по разным графикам, поэтому ICL усваивается как несколько способностей
- Аргумент: Yang и др. отслеживают, какой источник в промпте контролирует ответ, какой ответ предпочитает модель, строит ли она его без вариантов и переносится ли обученное.
- Цитата: «Across models, checkpoint series, and training experiments, these four aspects develop on different schedules, so in-context learning is acquired as several capabilities, each on its own timetable.»
Т2. В обычных оценках ICL копирование и композиция дают один вывод, так что точность не показывает, как использован контекст
- Аргумент: верный ответ показывает, что контекст пригодился, но не то, как он использован.
- Цитата: «In ordinary ICL evaluations these behaviors predict the same output, so correctness shows that the context was useful but not how it was used.»
Т3. Из 17 моделей примерно треть предпочитает скопированный ответ, несколько не определились, остальные предпочитают ответ по правилу
- Аргумент: модели сгруппированы по доле вероятности скопированного ответа среди двух кандидатов; предпочтение ответа по правилу идет с более высокой точностью.
- Цитата: «Across 17 models, about a third prefer the copied answer, a few are undecided, and the rest prefer the rule-consistent answer, which goes with higher accuracy and with control by the requested value rather than the closest conflicting example.»
Т4. Что контролирует ответ, зависит от группы: у копирующих моделей Pythia сильнее ближайшее окончание, у моделей с низкой долей копирования запрошенное значение
- Аргумент: Yang и др. блокируют внимание от позиции ответа к выбранным фрагментам промпта и сравнивают сдвиг разности оценок кандидатов.
- Цитата: «In the high-copy Pythia models the closest-ending effect is about twice the requested-value effect.»
- Данные: в моделях с низкой долей копирования картина обратная: «In low-copy models the requested-value effect is several times the closestending effect.»
Т5. По чекпойнтам контроль ответа переходит к запрошенному значению задолго до роста точности
- Аргумент: у OLMo-2-7B баланс меняется раньше, чем точность выбора из четырех вариантов становится надежной, а точная генерация недостающей формы появляется последней.
- Цитата: «Checkpoint analyses show that models begin prioritizing taskrelevant prompt tokens over conflicting examples long before their accuracy improves beyond chance level.»
- Данные: порядок событий: «Exact generation of the missing form arrives last, at about 3.6T tokens (Table 1): parts, then control, then selection, then generation.»
Т6. Большинство других серий чекпойнтов, дошедших до композиции, показывают тот же порядок
- Аргумент: Yang и др. проверяют на других сериях порядок, при котором контроль меняется раньше точности; OLMo-3 и Comma выполняют все критерии.
- Цитата: «Most other checkpoint series that reach composition show the same ordering, OLMo-3 and Comma on every criterion (Section 5).»
Т7. Синтетические документы с определениями и запросами переворачивают копирование и дают генерацию недостающей формы
- Аргумент: документы определяют окончания и затем задают к ним запросы.
- Цитата: «Replacing 3% of a continued-pretraining stream with these documents moves SmolLM2-1.7B from copy-dominant to query-dominant and lifts exact generation from near zero to near ceiling (Figure 7; Figure 16).»
Т8. Определения, встроенные в естественный текст, не переключают контроль
- Аргумент: Yang и др. продолжают предобучение SmolLM2-1.7B на найденных отрывках, где термин определяют и затем используют.
- Цитата: «Definitions embedded in natural text are not the active ingredient.»
Т9. Штраф на копирующие головы сдвигает баланс кандидатов, но недостающую форму не создает
- Аргумент: в проверке на SmolLM2-360M Yang и др. штрафуют внимание выбранных голов к ближайшему окончанию.
- Цитата: «Penalizing the copyfavoring heads changes the balance between the two candidates without creating the missing answer.»
Т10. Для переключения не нужно отрабатывать отсутствующую ячейку
- Аргумент: в условии all-shown каждая запрошенная комбинация уже показана на другой основе в том же документе, и результат совпадает с условием held-out.
- Цитата: «The all-shown condition matches the held-out condition, so learning to resolve queries through temporary mappings does not require practicing an absent cell.»
Т11. Упражнения на определения повышают точность на задачах с выдуманными и обменянными метками
- Аргумент: языковая модель переписала реальные фрагменты в короткие упражнения, где ответ определяется локальным определением; SmolLM2-1.7B дообучали на таких упражнениях.
- Цитата: «Made-up-label accuracy rises by 17.6 points on TREC, 17.2 on DBpedia, and 3.7 on Yahoo (Figure 1c), and exchanged-label accuracy rises on all three.»
Т12. Перенос следует тому, что практиковали
- Аргумент: синтетические документы дают прирост в практикуемой форме, упражнения на определения улучшают следование заданным в промпте меткам.
- Цитата: «Transfer follows what was practiced, not composition tasks in general.»
Пример
Каждый промпт задает окончания для четырех значений двух признаков, показывает три из четырех комбинаций на выдуманных словах и просит четвертую на новом слове. Применение определений дает одну форму, а копирование ближайшего примера, который делит с запросом первый признак, дает другую. Слова, окончания и соответствия выбираются заново для каждого промпта, поэтому фиксированное соответствие основы и окончания задачу не решает.
Критика
- Yang и др. признают узость диагностики. Цитата: «Our diagnostic is a single controlled task that separates copying from composition, and the code and Quechua versions carry the contrast into two further encodings.»
- Они ограничивают и перенос, полученный в обучении. Цитата: «The training experiments use models up to 8B parameters and synthetic documents that share the diagnostic’s format, so the transfer they produce is the format-bound transfer the design predicts.»
Связи
- In-context learning — см. также
- Копирование и композиция — см. также