How Experts Sensemake (Commoncog)
Вид: статья (часть 2 серии о sensemaking)
Коротко
Вопрос: чем эксперты осмысляют ситуации иначе, чем новички, и как улучшить это умение?
Ответ: Commoncog, пересказывая теорию Klein и др., пишет, что эксперты осмысляют ситуации теми же циклами, что и новички, а различаются более богатыми причинными моделями, репертуаром фреймов и более конкретными ожиданиями.
Тезисы
Commoncog спорит с представлением о подтверждающем смещении как о слабости человеческого мышления (Nickerson, Kahneman, Tversky, Tetlock) и с обычной моделью анализа «данные → информация → инсайт → решение».
Т1. По теории Data-Frame (Klein и др., в изложении Commoncog), человек замечает факты только в контексте фрейма
- Аргумент: по теории Data-Frame (Klein и др., в изложении Commoncog); Commoncog называет это «common-sense observation» теории Data-Frame. Фрейм — рассказ или когнитивная структура, объясняющая ситуацию и организующая связи между сведениями.
- Цитата: «Humans notice facts only in the context of a frame.»
Т2. По Commoncog, на его примерах у опытного и начинающего были одни и те же сведения; разница во фрейме
- Аргумент: на гипотетических примерах Commoncog (программист и стажёр, руководитель и аналитик) у обоих одни и те же сведения; различие он видит во фрейме, которым оценивали данные.
- Цитата: «In both cases your programming intern and your lead data analyst had access to the same information that you did…»
Т3. По теории Data-Frame (Klein и др., в изложении Commoncog), данные не приходят готовыми: их надо интерпретировать и выбрать якорями
- Аргумент: по теории Data-Frame (Klein и др., в изложении Commoncog), Commoncog пишет, что данные не приходят готовыми: надо выбрать, какие факты считать данными.
- Цитата: «Notice that data points do NOT ‘arrive’ fully-formed, they must be interpreted and chosen as anchors.»
- Данные: Commoncog пересказывает положение теории: фреймы строятся не больше чем из трёх–четырёх данных-якорей.
- Цитата: «Frames are constructed from maximum three to four data points, which are used as anchors.»
Т4. По теории Data-Frame (Klein и др., в изложении Commoncog), неверный фрейм, возможно построенный на негодном якоре, мешает решить задачу
- Аргумент: по теории Data-Frame (Klein и др., в изложении Commoncog), Commoncog описывает фиксацию на фрейме: человек держится неподходящего фрейма, когда нужно менять его.
- Цитата: «If you construct the wrong frame, perhaps because you’ve picked a flawed anchor, this will compromise your ability to solve the problem you’re facing.»
Т5. По теории Data-Frame (в изложении Commoncog), у экспертов нет иных стратегий осмысления, чем у новичков
- Аргумент: Commoncog называет четыре цикла теории: построение фрейма, сомнение в нём при несогласующихся данных, его уточнение и перестройка. По теории Data-Frame, как пишет Commoncog, эксперты и новички проходят все четыре одинаково; различия — в Т6, Т10, Т11.
- Цитата: «Both experts and novices use all four cycles in the Data-Frame model: they construct frames, question frames in response to sufficiently incongruent data, elaborate frames and perform reframing in the exact same ways.»
Т6. По Commoncog, главная разница эксперта и новичка — не скорость построения фреймов, а скорость самокоррекции при более конкретных ожиданиях
- Аргумент: Commoncog оговаривает, что это его оценка («I think»); эксперты, пишет он, быстрее замечают нарушение ожиданий и быстрее ставят фрейм под вопрос.
- Цитата: «This is the key difference, I think. It’s not that experts construct frames faster or slower than novices. It’s that they are quicker to self-correct, because they have more specific expectancies.»
Т7. По Klein и др., то, что выглядит как подтверждающее смещение, может быть работой фрейма
- Против: взгляд на подтверждающее смещение как на слабость человеческого мышления
- Аргумент: Commoncog приводит слова Klein и др.: начальные якоря влияют на принятый фрейм, а фрейм направляет поиск сведений.
- Цитата: «The initial anchors affect the frame that is adopted, and that frame guides information seeking.»
- Цитата: «What may look like a confirmation bias may simply be the use of a frame to guide information seeking.»
- Данные: Klein и др. ссылаются на работу Patterson и др. (1998) об аналитиках, читавших статьи: если первые статьи вводили в заблуждение, остальные анализы часто искажались.
- Цитата: «Patterson, Woods, Sarter, and Watts-Perotti (1998), studying intelligence analysts who reviewed articles in the open literature, found that if the initial articles were misleading, the rest of the analyses would often be distorted because subsequent searches, and their reviews were…»
- Данные: Commoncog называет Nickerson одним из тех, кто видит в подтверждающем смещении слабость мышления, и такой взгляд почти общепринятым.
- Цитата: «He even goes so far as to describe it as a “weakness” of human cognition — an assessment that puts him in good company…»
Т8. По Commoncog, Klein и коллеги нашли, что избыток данных ухудшает работу аналитика
- Против: обычная модель анализа «данные → информация → инсайт → решение → alpha»: больше данных, больше инсайтов
- Аргумент: по Commoncog, из теории Data-Frame следует: данные не приходят готовыми в пакетах, и главное в анализе — построение фрейма, а не обработка данных.
- Цитата: «The high order bit for analysis is frame construction.»
- Цитата: «And in fact, in study after study, Klein and his colleagues have found that performance degrades when an analyst is fed too much data.»
Т9. По теории, лучше осмыслять помогают модели области и фрагменты кейсов, а не отдельные «навыки осмысления»
- Аргумент: по Commoncog, по теории отдельных навыков осмысления нет; улучшение идёт через причинные модели области и фрагменты прежних кейсов, из которых строятся новые фреймы.
- Цитата: «The theory states that you cannot improve by learning better ‘sensemaking skills’…»
Т10. По Commoncog, у экспертов более богатые причинные модели области и более богатый репертуар фреймов
- Аргумент: Commoncog иллюстрирует это бригадным генералом и медсестрой.
- Цитата: «Experts have richer causal mental models of the domain, and a richer repertoire of frames.»
- Цитата: «For instance, the nurse in Example Two had a ‘sepsis’ frame ready, which she picked up and elaborated in parallel whilst still holding the ‘baby is doing fine’ frame.»
Т11. По Commoncog, эксперты чаще осмысляют ситуацию ради действия, а не ради абстрактного понимания
- Аргумент: функциональное понимание Commoncog отличает от абстрактного: «как ИИ влияет на рынок труда» против «как он влияет на меня, мою компанию и мою роль и что мне делать». Он оговаривает, что в некоторых областях нужно и абстрактное понимание, например у аналитиков, не знающих, как будет использован их отчёт.
- Цитата: «Experts also tend to sensemake for a functional understanding, as opposed to an abstract understanding.»
Т12. В динамичных областях эксперты, по Commoncog, рано и охотно принимают фрейм, но остаются начеку к отклонениям
- Аргумент: в областях вроде бизнеса и инвестиций новые события могут перевернуть область; Commoncog пишет, что здесь экспертам помогают богатые модели области, которые дают более конкретные ожидания.
- Цитата: «In these more dynamic domains, what experts do is to commit early and eagerly to a frame but remain vigilant about possible abnormalities.»
Т13. По Commoncog, почти во всех естественных условиях, изученных Klein и др., сторонники совета «держать ум открытым» работали хуже экспертов
- Против: совет бороться с подтверждающим смещением («keep an open mind», не спешить с выводом)
- Аргумент: это относится лишь к изученным условиям. Commoncog ссылается на Klein и др.: эксперты быстро формируют фрейм, с конкретными ожиданиями, которые могут быть нарушены, и потому быстрее меняют курс, когда видят отклонения.
- Цитата: «Unfortunately the recommendation by the confirmation bias folks backfires completely: in just about all natural settings that the authors examined, folks who use the ‘keep an open mind’ or ‘delay forming a view too early’-type strategies underperformed the experts.»
- Цитата: «In domain after domain, Klein and his colleagues have found that experts form frames quickly, with specific, concrete expectancies that may be violated.»
Т14. Против фиксации на фрейме Commoncog советует охотнее развивать альтернативный фрейм параллельно с нынешним
- Аргумент: полностью принимать новый фрейм не нужно: Commoncog допускает держать текущий и разрабатывать новый рядом.
- Цитата: «Fortunately, the Data-Frame theory has one obvious answer: be more willing to elaborate a new, alternative frame.»
- Цитата: «You don’t have to commit totally to this new frame — it’s logical to hold on to your current frame whilst you elaborate the new frame in parallel.»
Пример
Commoncog берёт два случая из статьи Klein и др. Бригадный генерал и сержант наблюдали один и тот же вражеский танк: сержант записал его как отдельный факт, а генерал, зная, что танки обычно не действуют в одиночку, нашёл остальные элементы танковой роты и тыловой командный пункт. Медсестра в отделении интенсивной терапии новорождённых по малым отклонениям в поведении ребёнка заподозрила инфекцию ещё до результатов анализов, держа рядом два фрейма: «ребёнок в порядке» и «сепсис». Оба случая Commoncog приводит как примеры богатых моделей области и репертуара фреймов (Т10).
Критика
- Commoncog сам называет теорию относительно молодой: она выдерживает проверку на опровержение только два десятилетия. Цитата: «It has proven itself useful in all sorts of domains, but it is a relatively young theory — which is to say that it has survived falsification for only two decades.»
- Commoncog оговаривает, что опустил доказательства, на которые ссылаются Klein и др. по главному спору о подтверждающем смещении. Цитата: «Note that I’ve elided the evidence Klein et al cite to justify this assertion; you may read the original papers here, here and here.»
- Commoncog пишет, что Kahneman сам не считал, что когнитивные смещения можно исправить, а часть его коллег не согласна с ним. Цитата: «Kahneman himself has argued that he did not believe you can correct cognitive biases. To be fair, some of his colleagues do not agree with him, and have demonstrated that training interventions for bias correction can improve performance.»
Связи
- @Даниэл Канеман — см. также