Holstein и др. — Think Once, Reflect Twice: How Feedback Shapes Human-AI Collaboration
DOI: 10.48550/arxiv.2610.19991 · Цитируется: 0 (OpenAlex, на 26 окт. 2026 г.)
Вид: статья (препринт arXiv, поведенческий эксперимент, N=244)
Коротко
Вопрос: как обратная связь о результатах прошлых переопределений совета ИИ влияет на рефлексию человека, на его опору на ИИ и на точность пары человек и ИИ?
Ответ: По Holstein и др., в эксперименте обратная связь о прошлых переопределениях совета ИИ повысила рефлексию постфактум при сбалансированной и неуспешной подаче, а односторонняя обратная связь связана с более слабой рефлексией во время решения; сбалансированная такого эффекта не показала.
Тезисы
Т1. Holstein и др. отмечают, что ретроспективному разбору решений (рефлексии постфактум) уделяли меньше внимания, чем рефлексии во время решения
- Аргумент: рефлексия постфактум здесь означает ретроспективный разбор решений, а не рассуждение в момент решения; на этом пробеле построено исследование.
- Цитата: «Less attention has been given to retrospective examination of decisions (reflection-on-action).»
Т2. Сбалансированная и неуспешная обратная связь значимо повышают рефлексию постфактум
- Аргумент: Holstein и др. оценивают это как частичную поддержку гипотезы Н1 о том, что обратная связь повысит рефлексию постфактум.
- Цитата: «With the balanced and the unsuccessful feedback reaching significance, we find partial support for H1.»
Т3. Односторонняя обратная связь связана с более слабой рефлексией во время решения
- Аргумент: связь значима для неуспешной обратной связи и на границе значимости для успешной, хотя сбалансированная и неуспешная обратная связь рефлексию постфактум повышают.
- Цитата: «unidirectional feedback is also associated with lower reflection-in-action (significant for unsuccessful, marginal for successful feedback).»
Т4. Сбалансированная обратная связь повысила рефлексию постфактум, не снизив рефлексию во время решения
- Аргумент: Holstein и др. противопоставляют этот результат односторонним условиям.
- Цитата: «Balanced feedback does not show this cognitive trade-off, increasing retrospective reflection while maintaining concurrent reflection.»
Т5. Holstein и др. допускают, что односторонняя обратная связь могла снять когнитивный диссонанс, нужный для осмысления
- Аргумент: однозначные сигналы о том, права ли оказалась ИИ или человек, дают меньше поводов оценивать каждое решение заново; Holstein и др. подают это как возможное объяснение (may have), не как установленный факт.
- Цитата: «In this context, unidirectional explanatory feedback provides unambiguous signals about collaboration effectiveness that may have eliminated this cognitive dissonance.»
Т6. После обратной связи об успешных переопределениях следование совету ИИ ниже (на границе значимости), после неуспешных выше (описательно)
- Аргумент: направления совпадают с предсказанием гипотезы Н2, но значимость слабая; Holstein и др. пишут о частичной поддержке.
- Цитата: «It is lower under feedback on successful overrides (marginally, p = 0.064) and descriptively higher under feedback on unsuccessful overrides (p = 0.118)»
Т7. По анализам Holstein и др., общая точность пары меняется мало; анализы указывают на причину: противоположные эффекты при верном и неверном совете ИИ частично гасят друг друга
- Аргумент: Holstein и др. анализируют решения с верным и с неверным советом ИИ по отдельности.
- Цитата: «point to why the global differences remain small, since opposing effects for correct and incorrect AI advice partially cancel each other out.»
Т8. Обратная связь о неуспешных переопределениях связана со значимо большим следованием неверным советам ИИ
- Аргумент: Holstein и др. сопоставляют решения с неверным советом ИИ в разных условиях с контролем.
- Цитата: «The unsuccessful feedback condition shows significantly greater adherence to incorrect AI advice (β = -0.83, p = 0.03), resulting in impaired human-AI team performance.»
Т9. После неуспешных переопределений участники обновляют мнение об ИИ по смещенной выборке случаев
- Аргумент: участники видят только случаи, где не согласились с ИИ, а он оказался прав, поэтому их обновление точно для этой выборки, но она не отражает ИИ в целом.
- Цитата: «they update accurately on a sample that misrepresents the AI.»
Т10. Сбалансированная обратная связь дала наивысшую скорректированную точность пары, на границе значимости над контролем
- Аргумент: у сбалансированной подачи нет ни одного из двух паттернов ошибок, отмеченных у односторонних условий.
- Цитата: «Balanced feedback shows neither error pattern and the highest adjusted performance, marginally above control (p = 0.068)»
Т11. Сообщаемый рост рефлексии постфактум при сообщаемом падении рефлексии во время решения указывает на риск иллюзии обучения при односторонней обратной связи
- Аргумент: Holstein и др. прямо сопоставляют сообщаемый рост одной рефлексии и падение другой; выводы о паттернах опоры на ИИ они приводят рядом.
- Цитата: «the dissonance of perceived increases in reflection-on-action and lowered reflection-in-action point to the risk of an illusion of learning when unidirectional feedback is provided.»
Т12. Больше рефлексии само по себе не дает лучших решений об опоре на ИИ
- Аргумент: участники чаще извлекали уроки о самой задаче, чем о том, когда следовать ИИ.
- Цитата: «more reflection does not by itself lead to better reliance decisions, since participants drew lessons mostly about the task and rarely about when to rely on the AI.»
Пример
Кредитный офицер одобрил заявку вопреки совету ИИ отклонить ее. Позже выясняется, возвращен ли кредит, и это показывает, чье суждение оказалось верным: его или ИИ. Такой исход и служит материалом для обратной связи о прошлом переопределении, а успешным оно считается, если привело к лучшему исходу.
Критика
- Рефлексия во время решения измерена после задачи, поэтому отражает воспоминание участников. Цитата: «the measure records how they recall processing the decisions and not the processing itself.»
- Упрощенная задача об одобрении кредита, возможно, не передает сложность и ставки реальной работы с ИИ. Цитата: «may not capture the complexity and stakes of real-world human-AI collaboration applications.»
- Формулировка шкалы рефлексии постфактум, возможно, занижает ее при успешной обратной связи. Цитата: «it plausibly understates retrospective reflection in the successful condition, where the feedback displayed correct overrides.»
Связи
- +Обратная связь — см. также
- Рефлексия постфактум — см. также
- Рефлексия во время решения — см. также
- Уместная опора на ИИ — см. также
- Обратная связь о переопределениях — см. также