Bowman и др. — Measuring Progress on Scalable Oversight for Large Language Models
DOI: 10.48550/arxiv.2211.03540 · Цитируется: 34 (OpenAlex, на 26 окт. 2026 г.)
Вид: научная статья (препринт arXiv)
Коротко
Вопрос: как уже на современных моделях изучать надзор за системами, которые потенциально превосходят человека в большинстве нужных для задачи навыков?
Ответ: По Bowman и др., в пробном опыте люди, общавшиеся с ненадежным чат-ассистентом, заметно превзошли и модель одну, и себя без помощи; Bowman и др. называют это обнадеживающим признаком того, что масштабируемый надзор (надзор за системами, которые потенциально превосходят человека) можно изучать на современных моделях, но результатов, по их словам, недостаточно, чтобы подтвердить простой протокол для ситуаций с высокими ставками.
Тезисы
Т1. Безопасные и полезные ИИ-системы общего назначения потребуют прогресса в масштабируемом надзоре
- Аргумент: Bowman и др. определяют проблему как надзор за системами, которые потенциально превосходят нас в большинстве навыков, значимых для задачи.
- Цитата: «Developing safe and useful general-purpose AI systems will require us to make progress on scalable oversight: the problem of supervising systems that potentially outperform us on most skills relevant to the task at hand.»
Т2. Сэндвич-эксперименты (Cotra, 2021) проверяют на опыте, способна ли техника надзора выровнять модель
- Аргумент: Bowman и др. берут эту схему за основу своей программы исследований масштабируемого надзора на нынешних моделях.
- Цитата: «Sandwiching experiments (Cotra, 2021, sketched in Figure 1) pose an empirical test of a scalable oversight technique’s ability to align a model.»
Т3. Первый опыт упрощен двумя ослаблениями исходной схемы ценой более узких выводов
- Аргумент: оба ослабления облегчают минимально жизнеспособный опыт, но сужают круг выводов, которые можно сделать.
- Цитата: «Both significantly simplify what needs to be done to conduct a minimally viable experiment at the cost of reducing the scope of conclusions that can be drawn.»
Т4. Люди, общавшиеся с ненадежным чат-ассистентом, заметно превзошли и модель одну, и себя без помощи
- Аргумент: опыт проведен на двух задачах с вопросами с выбором ответа (MMLU и QuALITY на время); Bowman и др. называют такую стратегию тривиальной базовой.
- Цитата: «On these tasks, we find that human participants who interact with an unreliable large-language-model dialog assistant through chat—a trivial baseline strategy for scalable oversight—substantially outperform both the model alone and their own unaided performance.»
Т5. Участники научились в основном доверять модели в фактах, но не длинным рассуждениям и арифметике
- Аргумент: Bowman и др. приводят наблюдения за диалогами и заметками участников на MMLU.
- Цитата: «Participants learned to largely trust the model’s presentation of facts but to distrust long chains of reasoning and (especially) arithmetic operations.»
Т6. Готовность модели менять предположения после поправки помогает, но порой делает ее слишком уступчивой
- Аргумент: по наблюдениям на MMLU, модель продолжает помогать, когда участник исправляет ошибку рассуждения, но иногда соглашается с его заблуждениями.
- Цитата: «This allows it to continue to be helpful when participants spot and correct a reasoning error, but also causes it to be overly deferential at times, going along with participant misunderstandings.»
Т7. Результаты, по Bowman и др., устанавливают, что техники масштабируемого надзора можно продуктивно оценивать на существующих NLP-наборах
- Аргумент: это вывод заключения; Bowman и др. называют его более важным для своих целей, чем остальные выводы заключения.
- Цитата: «More importantly for our purposes, they establish that it is possible to productively evaluate scalable oversight techniques on existing NLP task datasets.»
Т8. Результатов недостаточно, чтобы подтвердить простой протокол для ситуаций с высокими ставками
- Аргумент: Bowman и др. не считают результат основанием для вывода о пригодности протокола; участники порой уверенно принимали неверное.
- Цитата: «Our results are simply not strong enough to validate our simple human–model interaction protocol for use in high-stakes situations: Human participants in this protocol sometimes give highly confident judgments that turn out to be wrong.»
Пример
Группа не-врачей пытается настроить языковую модель так, чтобы она давала только уместные медицинские советы, не привлекая врачей и не обращаясь к медицинской литературе. Bowman и др. приводят это как чисто иллюстративную задачу. Техника, решающая ее с высокой надежностью, означала бы, по их словам, вероятно, важный прогресс в масштабируемом надзоре.
Критика
- Правильный ответ участникам показывали после каждого вопроса. Цитата: «After a participant submits their answer choice and confidence for a question, we reveal the correct answer.»
- Двое самых сильных участников из десяти исключены из результатов. Цитата: «Our removal of the two outlier high-performing participants (out of an initial population of ten) creates a real but unavoidable selection effect.»
Связи
- Ajeya Cotra — опирается на
- Samuel R. Bowman — см. также
- Масштабируемый надзор — опирается на
- Сэндвич-схема — опирается на
- +RLHF — см. также