Lee и др. — The Impact of Generative AI on Critical Thinking
Вид: paper
Главный вопрос: когда и почему работники знаний, по их самоотчёту, применяют критическое мышление при работе с генеративным ИИ и как ИИ меняет усилие на него
Ответ одной фразой: по самоотчёту работников уверенность в ИИ связана с меньшим критическим мышлением, а уверенность в себе с большим, и усилие смещается от выполнения к проверке и руководству результатом ИИ.
Частные вопросы:
- В1. От чего зависит, что работник проверяет ответ ИИ? → Т1, Т2, Т5
- В2. Как меняется усилие работника при работе с ИИ? → Т3, Т4, Т7
- В3. Что авторы предлагают менять (инструмент, обучение)? → Т6, Т8
Тезисы
Т1. По самоотчёту 319 работников знаний, больше уверенность в ИИ связана с меньшим критическим мышлением, а больше уверенность в себе с большим (корреляция)
- Аргумент: регрессия по 936 примерам использования ИИ связывает уверенность в ИИ отрицательно, а уверенность в себе положительно с самоотчётом о критическом мышлении; авторы прямо пишут, что причинность не установлена.
- Цитата: «Specifically, higher confidence in GenAI is associated with less critical thinking, while higher self-confidence is associated with more critical thinking.» (раздел «Abstract»)
- Данные: 319 участников, 936 примеров; уверенность в ИИ β=-0.69, p<0.001; уверенность в себе β=0.26, p=0.026; уверенность в оценке ответов ИИ β=0.31, p=0.046; значимого основного эффекта типа задачи не найдено.
- Понятия: Уверенность в ИИ, Критическое мышление
Т2. По самоотчёту, критическое мышление при работе с ИИ проявлялось примерно в 60 % из 936 примеров
- Аргумент: участники называли конкретные действия: уточнение цели и запроса, проверка ответа по критериям и источникам, отбор частей ответа и правка стиля. Критическое мышление измеряли по «проявлениям», а не напрямую.
- Цитата: «Over 936 GenAI tool use examples, participants self-reported having enacted some critical thinking activity (see Section 4.1) for approximately 60% (555 out of 936) of them.» (раздел «4.2 When knowledge workers perceive the enaction of critical thinking»)
- Данные: 555 из 936 (59,29 %); по качественному анализу, число участников из 319: проверка по внешним источникам 114, объективные критерии 125, субъективные стандарты 77, выбор частей ответа 36, правка стиля 45.
- Понятия: Проверка ответа ИИ
Т3. По самоотчёту, усилие критического мышления смещается: от сбора к проверке информации, от решения задачи к встраиванию ответа ИИ, от выполнения к руководству задачей
- Аргумент: на этих трёх сдвигах авторы строят описание «стюардства». ИИ берёт на себя сбор информации и создание артефактов, а человеку остаются проверка, встраивание и контроль качества.
- Цитата: «We found that GenAI tools shift the effort of critical thinking in three distinct ways: for Knowledge and Comprehension, the effort shifts from information gathering to information verification; for Application, effort shifts from problem-solving to AI response integration; and for…» (раздел «5.2 Why knowledge workers perceive increased/decreased effort for critical thinking due to GenAI»)
- Данные: по свободным ответам; например, 111 из 319 отметили меньшее усилие на получение информации, а 56 из 319 — большее на проверку ответа, который может быть неверным.
- Понятия: Стюардство задачи, Проверка ответа ИИ
Т4. По самоотчёту, в большинстве примеров работники воспринимают усилие на связанные с критическим мышлением действия при ИИ как сниженное
- Аргумент: по шести уровням таксономии Блума доля ответов «меньше» или «намного меньше усилий» выше половины; меньше всего она для оценки. Авторы оговаривают, что снижение усилия не равно снижению критического мышления.
- Цитата: «In the majority of examples, knowledge workers perceive decreased effort for cognitive activities associated with critical thinking when using GenAI compared to not using one — examples that were reported as “much less effort” or “less effort” comprise 72% in…» (раздел «5.1 When knowledge workers perceive increased/decreased effort for critical thinking due to GenAI»)
- Данные: «much less» или «less effort»: знание 72 %, понимание 79 %, применение 69 %, анализ 72 %, синтез 76 %, оценка 55 %.
- Понятия: Усилие критического мышления
Т5. По свободным ответам, барьеры критического мышления при ИИ связаны с осознанием, мотивацией и умением
- Аргумент: часть работников не думает критически, когда задача кажется второстепенной или пустяковой, когда доверяют ИИ, когда нет времени или это не входит в их обязанности, и когда не хватает знаний для проверки. Побуждают же к нему качество работы, возможный вред и развитие навыков.
- Цитата: «We found many inhibitors for the enaction of critical thinking related to awareness (e.g., reliance on AI), motivation (e.g., lack of time), and ability (e.g., barriers to improving GenAI output).» (раздел «4.3 Motivators and inhibitors for the perceived enaction of critical thinking»)
- Данные: доверие и опора на ИИ 83 из 319, задача кажется пустяковой 55, нехватка времени 44, вне обязанностей 11, нехватка знаний для проверки ответа 58, трудно улучшить ответ 72; побудители: возможный вред 116, качество работы 74, развитие навыков 13.
- Понятия: Барьеры критического мышления
Т6. Авторы допускают без доказательства причинности, что развитие экспертизы и уверенности работников может улучшить их критическое мышление при ИИ
- Аргумент: связь уверенности в себе с критическим мышлением корреляционная; из неё авторы выводят лишь возможность вмешательства через экспертизу.
- Цитата: «Our analysis does not establish causation. However, based on our evidence, it is possible that fostering workers’ domain expertise and associated self-confidence may result in improved critical thinking when using GenAI.» (раздел «6.1.1 Self-Confidence and Task Confidence»)
- Понятия: Уверенность в себе, Критическое мышление
Т7. Авторы предлагают, что инструменты могут дать пользователю явные регуляторы степени помощи ИИ
- Аргумент: уверенность в ИИ связана с меньшим, а уверенность в себе — с большим критическим мышлением; авторы считают, что инструмент должен балансировать то и другое: помогать калибровать доверие к ответам и оставлять пользователя ответственным за результат. Это предложение авторов, а не проверенный результат.
- Цитата: «Tools may incorporate explicit controls for users to regulate the extent of AI assistance, depending on their confidence levels and the task’s complexity.» (раздел «6.1.1 Self-Confidence and Task Confidence»)
- Понятия: Калибровка доверия
Т8. Авторы считают, что обучение работников критическому мышлению с ИИ должно развивать проверку информации, встраивание ответа и руководство задачей
- Аргумент: исходя из трёх сдвигов усилия (Т3), авторы предлагают программы обучения с упором на сверку выхода ИИ с источниками и оценку его применимости; сохранение базовых навыков сбора информации и решения задач, по их словам, помогло бы не стать чрезмерно зависимым от ИИ.
- Цитата: «In light of these changes, training knowledge workers to think critically when working with GenAI should focus on developing skills in information verification, response integration, and task stewardship.» (раздел «6.2 Shifts in Critical Thinking Due to Generative AI»)
- Понятия: Стюардство задачи
Т9. Авторы называют стюардством роль человека, у которого остаются ответственность и подотчётность, хотя производство делегировано ИИ
- Аргумент: в отличие от совместной работы людей, при работе с ИИ человек остаётся ответственным за результат; это, по словам авторов, делает «стюардство» более подходящей метафорой, чем напарник, соавтор или руководитель.
- Цитата: «in a human-AI “collaboration”, the responsibility and accountability for the work still resides with the human user despite the labour of material production being delegated to the GenAI tool, which makes stewardship strike us as a more appropriate metaphor for…» (раздел «6.2 Shifts in Critical Thinking Due to Generative AI»)
- Понятия: Стюардство задачи
Кейсы
К1. Фармацевт проверяет черновик ИИ из-за риска отстранения
Участница P267 писала с помощью ChatGPT записи для документов по профессиональному развитию и перепроверяла их, потому что запись идёт на проверку и иначе ей грозило бы отстранение. Подкрепляет Т5.
К2. Продавец без времени на раздумья
Менеджер по развитию продаж P295 пользуется ИИ для экономии времени из-за ежедневной нормы и почти не размышляет над результатом. Подкрепляет Т5.
Понятия
- Стюардство задачи → Lee и др.: роль человека, который направляет и контролирует ИИ, сохраняя подотчётность (Т3, Т8, Т9)
- Проверка ответа ИИ → Lee и др.: сверка с критериями и внешними источниками (Т2, Т3)
- Барьеры критического мышления → Lee и др.: осознание, мотивация, умение (Т5)
- Уверенность в ИИ → Lee и др.: оценка способности ИИ выполнить задачу, связана с меньшим критическим мышлением (Т1)
- Критическое мышление → Lee и др.: по таксономии Блума, шесть видов когнитивной активности (Т1, Т6)