Wu и др. — Can LLMs Access their World Knowledge for Event Prediction?
DOI: 10.48550/arxiv.2610.19021 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)
Вид: научная статья (препринт arXiv)
Коротко
Вопрос: недоступны ли LLM знания о мире для предсказания событий, или методы не дают ими воспользоваться?
Ответ: Wu и др. полагают, что результаты на их бенчмарке DescribeEvent указывают: доступ к знаниям LLM о мире для предсказания событий — проблема интерфейса, а описания событий — практичный способ извлечь эти знания.
Тезисы
Т1. Wu и др.: результаты указывают, что доступ к знаниям LLM о мире для предсказания событий — проблема интерфейса
- Аргумент: описания событий, по их словам, практичный способ извлечь знания, которые LLM уже кодируют.
- Цитата: «These results suggest that accessing LLMworld knowledge for event prediction is an interface problem, and that event descriptions offer a practical way to elicit the knowledge LLMs already encode.»
Т2. Wu и др.: интерфейс строится вокруг двух решений — описание каждого события и отделение смысла событий от пространства предсказания
- Аргумент: второе решение нужно, чтобы смысловое смещение от ассоциаций меток не мешало предсказанию.
- Цитата: «The first grounds each event in a natural-language description, and the second separates event semantics from the prediction space to prevent semantic bias from label associations.»
Т3. Wu и др. называют смысловым смещением ситуацию, когда модель предсказывает следующее событие по связям между названиями меток из предобучения
- Аргумент: при этом модель предсказывает не по реальным прошлым событиям.
- Цитата: «We call this effect semantic bias: the model predicts the next event from these pretrained label-name associations, not from the actual past events.»
Т4. Wu и др.: при перестановках меток точность с символьными метками стабильнее, чем со смысловыми, и этот разрыв выявляет смысловое смещение
- Аргумент: названия меток сами несут предсказательный сигнал помимо структуры.
- Цитата: «symbolic accuracy is more stable than semantic accuracy across permutations. This gap reveals semantic bias, since the label names themselves carry predictive signal beyond structure.»
Т5. Wu и др. вводят бенчмарк DescribeEvent: около 150 тысяч событий из семи наборов данных и шести областей, у каждого события свое описание
- Аргумент: бенчмарк вводится, чтобы проверить гипотезу об интерфейсе.
- Цитата: «To test this, we introduce DESCRIBEEVENT, a benchmark of ∼150K events across seven datasets and six domains with event-level descriptions.»
Т6. По Wu и др., самая сильная настройка LLM — описания вместе с символьными метками — на большинстве наборов данных по обеим метрикам превосходит лучшие модели без LLM
- Аргумент: сравнение идет с лучшими моделями без LLM.
- Цитата: «Overall, the strongest LLM setting in Table 2, which combines descriptions with symbolic labels, outperforms the best non-LLM baselines on most datasets for both metrics.»
Т7. Wu и др.: польза описаний следует за общей способностью модели к рассуждению, а не за размером модели
- Аргумент: Wu и др. считают, что эти наблюдения поддерживают такой вывод; их оговорка о корреляции — в «Критике».
- Цитата: «Together with Figure 6 in Section 5.3, these findings support the claim that description utilization tracks general reasoning capability rather than model size.»
Т8. Wu и др.: прирост precision от символьных меток резко растет у более редких типов событий
- Аргумент: корреляция Пирсона для этого прироста равна −0,51 (p около 0,0003).
- Цитата: «the precision gain from symbolic labels increases sharply as frequency decreases, with a Pearson correlation of r = -0.51 (p ≈ 0.0003).»
Пример
В наборе по репозиториям кода при символьных метках тип push получает имя type_0, а commit — type_1. Описание такого события может называть текст коммита, число коммитов или затронутые файлы.
Критика
- Wu и др. признают, что связь между способностью к рассуждению и пользой описаний — корреляция, а причинный механизм требует изучения. Цитата: «Second, while we identify a correlation between reasoning capability, as measured by GPQA Diamond, and description utilization, establishing a causal mechanism requires further investigation.»
- Рост precision у редких типов они не относят к более сильному смысловому смещению у редких событий. Цитата: «This does not mean that rare events carry stronger semantic bias.»