Du и др. — Improving Factuality and Reasoning in Language Models through Multiagent Debate (*Улучшение фактической точности и рассуждения языковых моделей через дебаты нескольких агентов*, 2023)
DOI: 10.48550/arxiv.2305.14325 · Цитируется: 119 (OpenAlex, на 26 окт. 2026 г.)
Вид: научная статья (препринт arXiv, 23 мая 2023, на рассмотрении)
Коротко
Вопрос: можно ли улучшить фактическую точность и рассуждение языковой модели, если несколько ее экземпляров обсуждают ответы друг друга?
Ответ: по Du и др., несколько экземпляров языковой модели предлагают ответы, в несколько раундов читают и критикуют ответы друг друга и приходят к общему; на шести задачах это превосходит одиночную модель и рефлексию, но общий ответ не обязательно верен, а метод дороже.
Тезисы
Т1. В дебатах каждый экземпляр модели читает и критикует ответы всех остальных и обновляет по ним свой ответ
- Аргумент: ответ каждого экземпляра обновляется с учетом критики остальных.
- Цитата: «Then each individual model instance reads and critiques the responses of all other models and uses this content to update its own answer.»
Т2. По данным Du и др., дебаты превосходят одиночную модель и рефлексию на шести задачах
- Аргумент: сравнение идет с цепочкой рассуждений без примеров и с рефлексией, на задачах на рассуждение, фактологию и вопросы-ответы.
- Цитата: «We find that our debate approach outperforms single model baselines such as zero-shot chain of thought [11] and reflection [26, 18] on a variety of six reasoning, factuality, and question-answering tasks.»
Т3. Дебаты порой приводят к верному ответу, когда все модели сначала ошиблись
- Аргумент: Du и др. наблюдали такие случаи в иллюстрациях дебатов.
- Цитата: «Interestingly, we find cases in which all models initially give an incorrect response, yet the result of debate still obtains the correct answer as agents critique each others’ reasoning.»
Т4. На фактологических задачах дебаты дали лучший результат и, по Du и др., заметно превзошли каждую базовую линию
- Аргумент: это сравнение проведено на задачах по фактологии.
- Цитата: «In contrast, debate gives the best performance in this setting also, and significantly outperforms each baseline.»
Т5. Когда модель не уверена в вопросе, агенты дают разные ответы, а при общении быстро меняют мнение на более точный общий ответ
- Аргумент: Du и др. наблюдали это на фактологических вопросах, где модель не уверена в ответе: там агенты сначала расходились во мнениях, и именно при таком расхождении общение приводило их к общему ответу.
- Данные: «We found that different language agents tended to give different answers when the underlying language model was uncertain about the question.»
- Цитата: «However, when these different language agents were asked to communicate with each other, each agent would quickly change their opinion to a consensus answer which was more accurate.»
Т6. На арифметике дополнительные раунды дебатов свыше четырех дали примерно тот же результат, что четыре
- Аргумент: число раундов менялось при трех агентах.
- Цитата: «However, we found that additional debate rounds above four led to a similar final performance to 4 rounds of debate.»
Т7. В целом промпты, побуждавшие модель упорнее держаться своих решений, давали более долгие дебаты и лучшие итоговые решения
- Аргумент: в целом, по Du и др., упорство задавалось промптом.
- Цитата: «In general, we found that prompts that encouraged models to be more “stubborn’ based on their own solutions led to longer debates and better final solutions.»
Т8. Du и др. заявляют, что метод можно напрямую применять к существующим моделям-черным ящикам
- Аргумент: Du и др. заявляют, что метод применим к существующим моделям-черным ящикам и использует одну процедуру и одни промпты для всех изученных задач.
- Цитата: «Our approach may be directly applied to existing black-box models and uses identical procedure and prompts for all tasks we investigate.»
Пример
Du и др. иллюстрируют метод задачей про сундук с драгоценностями: в первом раунде два экземпляра дают разные ответы, во втором один из них все еще остается при другом ответе, в третьем оба приходят к одному, верному. В другой иллюстрации chatGPT и Bard оба сначала отвечают на задачу неверно, но chatGPT использует неверный ответ Bard и приходит к верному итоговому. На арифметических выражениях экземпляры тоже начинают с разных ответов а в следующем раунде в иллюстрации сходятся на одном.
Критика
- Du и др. признают, что метод вычислительно дороже. Цитата: «In comparison to other prompting techniques, our multiagent debate procedure is more computationally expensive, as it requires both multiple language generations, and an underlying debate procedure.»
- Модели уверенно подтверждали и неверный общий ответ. Цитата: «Despite answers being incorrect, language models would confidently affirm that their answer is correct and consistent with all other agent responses.»
- Общий ответ не обязательно верен. Цитата: «Finally, we found that while debates typically converged into single final answers, these answers were not necessarily correct.»
Связи
- Дебаты нескольких агентов — см. также
- Рефлексия языковой модели — см. также