Black, Wiliam — Assessment and Classroom Learning
Вид: статья
Коротко
Вопрос: подтверждают ли исследования надежду, что улучшение оценивания в классе (формирующее оценивание) сильно улучшает обучение, и что известно о том, как оно работает
Ответ: по обзору авторов, исследования показывают, что внимание к формирующему оцениванию может давать существенный прирост обучения, но выигрыш зависит от качества обратной связи, от убеждений учеников и учителей и от глубоких изменений в преподавании, и единой лучшей модели нет.
Тезисы
Т1. По обзору, несколько исследований дают твёрдые свидетельства: усиление частой обратной связи даёт существенный прирост обучения
- Аргумент: авторы разбирают восемь примеров исследований и дальнейшие разделы; цель обзора — проверить, оправдана ли надежда, что улучшение оценивания в классе сильно улучшит обучение
- Цитата: «Several studies show firm evidence that innovations designed to strengthen the frequent feedback that students receive about their learning yield substantial learning gains.» (аннотация)
- Понятия: Формирующее оценивание, Обратная связь
Т2. Оценивание формирующее только тогда, когда информация о разрыве используется, чтобы изменить разрыв
- Против: оценка, которая только записывается, передаётся третьему лицу без знаний или власти изменить результат или закодирована в итоговую отметку (по Саддлеру)
- Аргумент: авторы опираются на определение Саддлера; если информация не ведёт к действию, оценка может быть формирующей по замыслу, но не по функции; на этом основании они различают формирующую и итоговую функции оценивания
- Цитата: «In other words, assessment is formative only when comparison of actual and reference levels yields information which is then used to alter the gap.» (раздел «Prospects for the theory and practice of formative assessment»)
- Понятия: Формирующее оценивание, Разрыв между целью и текущим состоянием
Т3. Авторы предлагают понимать обратную связь в самом широком смысле — как любую информацию исполнителю о его действии
- Против: определения обратной связи, требующие внешнего источника (Клугер и Деничи) или использования информации для изменения разрыва (Рамапрасад)
- Аргумент: внешний источник и эталон необязательны; сравнение с эталоном может идти как равенство, как расстояние или как диагноз (что нужно сделать, чтобы достичь эталона); формирующую функцию, по авторам, выполняет только последний вариант
- Цитата: «we propose, for the sake of simplicity, that the term feedback be used in its least restrictive sense, to refer to any information that is provided to the performer of any action about that performance.» (раздел «Prospects for the theory and practice of formative assessment»)
- Понятия: Обратная связь
Т4. По прежним обзорам, оценивание в классах, как правило, поощряет поверхностное и механическое обучение
- Против: практика оценивания в классах: упор на отметки, сравнение учеников между собой, запоминание отдельных фактов; оценка важнее обучения
- Аргумент: авторы называют картину «слабой практикой»; учителя обычно не пересматривают свои вопросы и не обсуждают их с коллегами; функция выставления отметок преувеличена, функция обучения недооценена; новые исследования, по их словам, подтвердили эту картину
- Цитата: «Classroom evaluation practices generally encourage superficial and rote learning, concentrating on recall of isolated details, usually items of knowledge which pupils soon forget.» (раздел «Assessment by teachers»)
- Данные: ссылки на обзоры Крукса (1988) и Блэка (1993b); цифр нет
- Понятия: Формирующее оценивание
Т5. По свидетельствам, нормативная обратная связь учит более слабых учеников, что у них нет способностей
- Против: нормативный подход, сравнивающий учеников между собой (соревнование вместо личного улучшения)
- Аргумент: такая практика, по обзору, демотивирует слабых и подрывает их уверенность в способности учиться
- Цитата: «The evidence is that with such practices the effect of feedback is to teach the weaker pupils that they lack ability, so that they are de-motivated and lose confidence in their own capacity to learn.» (раздел «Assessment by teachers»)
- Понятия: Выученная беспомощность
Т6. Ядро формирующего оценивания — два действия ученика: заметить разрыв между целью и состоянием и действовать, чтобы его закрыть
- Аргумент: информацию о разрыве может создать сам ученик (самооценка) или другой человек, прежде всего учитель; ученика нельзя считать пассивным получателем призыва к действию
- Цитата: «The first is the perception by the learner of a gap between a desired goal and his or her present state (of knowledge, and/or understanding, and/or skill)…» (раздел «Students and formative assessment»)
- Понятия: Разрыв между целью и текущим состоянием
Т7. По Саддлеру, как его излагают авторы, закрыть разрыв в конечном счёте должен сам ученик
- Аргумент: ученик, который автоматически следует диагнозу учителя без понимания его цели, не научится; из этого авторы выводят, что самооценка ученика нужна и ученик должен разделять видение предмета учителем
- Цитата: «He further argued that ultimately, the action to close that gap must be taken by the student—a student who automatically follows the diagnostic prescription of a teacher without understanding of its purpose or orientation will not learn.» (раздел «Prospects for the theory and practice of formative assessment»)
- Понятия: Самооценка, Внутренний локус контроля
Т8. По опыту Батлер, авторы видят: полезные комментарии могут быть обесценены мотивационным вредом оценки-отметки
- Против: выставление отметок вместе с комментариями
- Аргумент: в эксперименте три группы получали комментарии, только отметки или и то, и другое; устойчивый рост результатов показали только ученики с комментариями; Батлер обсуждает результаты в терминах теории когнитивной оценки; авторы обзора добавляют, что они согласуются с литературой о преимуществе задачной оценки над эго-вовлечённой
- Цитата: «A significant feature here is that even if feedback comments are operationally helpful for a student’s work, their effect can be undermined by the negative motivational effects of the normative feedback, i.e. by giving grades.» (раздел «Examples in evidence»)
- Данные: 48 израильских одиннадцатилетних, верхний и нижний квартили по успеваемости; в группе «только комментарии» результаты выросли примерно на треть и остались на этом уровне; в группах с отметками результаты снизились; у слабых учеников интерес падал при любом режиме с отметками
- Понятия: Обратная связь, Дивергентное мышление
Т9. В метаанализе Фукс и Фукс главные выигрыши от формирующей работы получены, только когда учителя были вынуждены систематически использовать данные новыми для них способами
- Аргумент: метаанализ Фукс и Фукс (21 исследование) показал, что опора на заданные правила пересмотра данных и построение графиков прогресса дают больший эффект; авторы отмечают, что работа, по-видимому, была упущена в большей части более поздней литературы
- Цитата: «The second feature is that the main learning gains from the formative work were only achieved when teachers were constrained to use the data in systematic ways which were new to them.» (раздел «Examples in evidence»)
- Данные: 21 исследование, 96 величин эффекта, средний эффект 0.70; правила обзора данных 0.92 против 0.42 без правил; графики прогресса 0.70 против 0.26; в основном дети с лёгкими нарушениями
- Понятия: Формирующее оценивание
Т10. Все разобранные примеры показывают, что внимание к формирующему оцениванию может давать существенный рост обучения
- Аргумент: гарантии нет вне зависимости от контекста и подхода; авторы не встречали отчётов об отрицательных последствиях усиления формирующей практики; при этом выделить вклад именно обратной связи может быть трудно
- Цитата: «However, the consistent feature across the variety of these examples is that they all show that attention to formative assessment can lead to significant learning gains.» (раздел «Examples in evidence»)
- Данные: восемь примеров: португальские учителя (25), обучение до мастерства Уайтинга, алгебра Мартинес и Мартинес (120 студентов), детский сад Бергана (838 детей), Батлер (48), Шанк (44), Фредериксен и Уайт (12 классов), метаанализ Фукс и Фукс
- Понятия: Формирующее оценивание, Обучение до мастерства
Т11. Нововведение в формирующее оценивание трудно считать второстепенным изменением работы в классе
- Аргумент: любая такая работа включает обратную связь между учителем и учениками, а качество этих взаимодействий лежит в основе педагогики; когда формирующая работа встроена в новое преподавание или в более крупное движение (например, обучение до мастерства), отделить её вклад может быть трудно
- Цитата: «It is hard to see how any innovation in formative assessment can be treated as a marginal change in classroom work.» (раздел «Examples in evidence», подраздел «Some General Issues»)
- Понятия: Педагогический дизайн
Т12. Для внедрения формирующего оценивания, по авторам, нужны довольно глубокие изменения в представлениях учителей о своей роли по отношению к ученикам и в их классной практике
- Аргумент: формирующее оценивание плохо понимается учителями и слабо представлено на практике; на практику сильно влияют внешние требования сертификации и подотчётности; пример: в проекте Кавендиш и др. (1990) учителя естественных наук не нашли времени на наблюдение, потому что не были готовы менять классную практику
- Цитата: «that its implementation calls for rather deep changes both in teachers’ perceptions of their own role in relation to their students and in their classroom practice.» (раздел «Assessment by teachers»)
- Понятия: Педагогический дизайн
Т13. Литература по обучению до мастерства, по авторам, показывает выигрыш при некоторых условиях, но мало говорит, какие элементы программ эффективны
- Против: нет
- Аргумент: авторы видят лишь немногие ясные выводы: обучение до мастерства, по-видимому, повышает результаты на тестах, составленных учителем, эффективнее при заданном учителем темпе и для младших учеников; по Слэвину, почти все большие эффекты получены на тестах, составленных учителем, а на стандартизованных тестах эффекты близки к нулю; он объясняет это обучением под тест
- Цитата: «However, while establishing that under certain circumstances, mastery learning is effective in raising achievement, the literature gives very little evidence as to which aspects of mastery learning programmes are effective.» (раздел «Systems»)
- Данные: обзоры Блока и Бёрнса, Гаски и Гейтса: 83 величины эффекта из 35 исследований, средний эффект 0.82 (подход Блума «Learning For Mastery»); у Кулика и др. (108 исследований) эффекты меньше; тесты по ходу обучения около 1.17, итоговые около 0.6
- Понятия: Обучение до мастерства, Бенджамин Блум
Т14. По обзору Клугера и Деничи, обратная связь иногда ухудшает результат, и, по мнению авторов, эти эффекты реальны
- Аргумент: авторы пересказывают этот обзор; выделены четыре реакции на разрыв (достичь стандарта, отказаться, изменить стандарт, отрицать разрыв); отказ при низкой вере в успех, как пишут авторы, ведёт к выученной беспомощности
- Цитата: «The fact that so many research reports found that feedback can have negative effects on performance suggests that these are not merely artefacts of poor design, or unreliability in the measures, but real, substantive effects.» (раздел «Feedback»)
- Данные: более 3000 отчётов, после отбора 131 отчёт, 607 величин эффекта, 12 652 участника; средний эффект 0.4, стандартное отклонение около 1, около двух из пяти эффектов отрицательные
- Понятия: Обратная связь, Выученная беспомощность
Т15. Обратная связь, направляющая внимание на задачу, как правило, успешнее той, что направляет внимание на самого ученика
- Аргумент: подсказки, привлекающие внимание к себе (похвала, награды и наказания), вероятно, дают отрицательный эффект; более успешна связь, дающая детали правильного ответа и побуждающая к «осознанности» ответа
- Цитата: «In contrast to those interventions that cue attention to meta-task processes, feedback interventions that direct attention towards the task itself are generally much more successful.» (раздел «Feedback»)
- Данные: Батлер (1987): 200 израильских пятиклассников и шестиклассников; группа с комментариями выше остальных на одно стандартное отклонение по заданиям на дивергентное мышление; Бангерт-Дроунс и др.: 30 исследований, средний эффект 0.58 при учёте двух факторов
- Понятия: Обратная связь, Дивергентное мышление
Т16. По исследованиям атрибуции (в изложении авторов), учителям следует стремиться внушать ученикам, что успех зависит от внутренних, неустойчивых, частных причин вроде усилий, а не от способностей
- Против: объяснение успеха и неудач устойчивыми общими факторами, например способностями
- Аргумент: авторы опираются на теорию атрибуции (Двек и др.); важны личностность, постоянство и специфичность причин
- Цитата: «The clear message from the research on attribution theory (see for example Vispoel & Austin, 1995) is that teachers must aim to inculcate in their students the idea that success is due to internal, unstable, specific factors such as effort…» (раздел «Feedback»)
- Понятия: Внутренний локус контроля, Выученная беспомощность
Т17. В исследовании Элавар и Корно (1985) конкретные комментарии об ошибках и стратегиях вместо одних отметок дали разницу в результатах, сопоставимую с разницей от прежней успеваемости
- Аргумент: в исследовании Элавар и Корно (венесуэльском) учителей учили писать письменную обратную связь на домашние работы, сосредоточенную на конкретных ошибках и плохой стратегии с предложениями улучшения; контрольная группа получала просто отметки без комментариев
- Цитата: «Also discussed in the section on the Quality of feedback was Elawar & Corno’s (1985) study of 18 primary school teachers, where it was found that the differences due to being given specific comments on errors and suggestions for strategies…» (раздел «Feedback»)
- Данные: более 500 венесуэльских учеников и 18 учителей математики в трёх школах
- Понятия: Обратная связь
Т18. Авторы не делают метаанализа: различия между исследованиями таковы, что объединение результатов имело бы мало смысла
- Аргумент: число строгих количественных исследований формирующего оценивания в целом не более 20; каждое связано с особой педагогикой и её допущениями; в исследованиях часто не учтены определяющие признаки, что, по авторам, говорит о недостаточной концептуализации и о нужде в теории
- Цитата: «However, whilst these are rigorous within their own frameworks and purposes, and whilst they show some coherence and reinforcement in relation to the learning gains associated with classroom assessment initiatives, the underlying differences between the studies are such that any…» (раздел «Prospects for the theory and practice of formative assessment»)
- Понятия: Формирующее оценивание
Т19. Авторы заявляют: обзор убедительно показывает, что формирующее оценивание улучшает обучение, но единой лучшей модели нет
- Аргумент: прирост, по оценке авторов, видимо, одним из самых больших среди образовательных вмешательств; из обзора вытекает набор направляющих принципов с оговоркой, что нужные изменения центральны, а не второстепенны; реформа потребует длительного времени
- Цитата: «The research reported here shows conclusively that formative assessment does improve learning.» (раздел «Prospects for the theory and practice of formative assessment», подраздел «Are there Implications for Policy?»)
- Цитата: «This last point is very important because there does not emerge, from this present review, any one optimum model on which such a policy might be based.» (раздел «Prospects for the theory and practice of formative assessment», подраздел «Are there Implications for Policy?»)
- Данные: пример авторов: эффект 0.7 в масштабе страны поднял бы средний балл по математике в Англии, Новой Зеландии или США в «пятёрку лучших» после Сингапура, Кореи, Японии и Гонконга
- Понятия: Формирующее оценивание
Т20. Авторы отмечают: по ряду исследований формирующее оценивание особенно полезно отстающим, но другие исследования этого не подтверждают
- Аргумент: кажущиеся противоречия, как предполагают авторы, вероятно, возникают из-за ещё не записанных важных особенностей классов; если разрыв в успеваемости можно сократить, это приоритет для исследований
- Цитата: «The first is the evidence in many studies that new emphasis on formative assessment is of particular benefit to the disadvantaged and low-attaining learners—evidence which is not supported in the results of other studies.» (раздел «Prospects for the theory and practice of formative assessment»)
- Данные: Фредериксен и Уайт (12 классов по 30 учеников): у группы с низкими начальными баллами превосходство над контролем более трёх стандартных отклонений, у средней чуть более двух, у высокой чуть более одного
- Понятия: Формирующее оценивание
Связи
- +Формирующее оценивание — см. также
Из карточки: Блэк, Уильям: формирующее оценивание — только когда сравнение фактического и эталонного уровней даёт информацию, которую затем используют, чтобы изменить разрыв (Т2) - +Обратная связь — см. также
Из карточки: Блэк, Уильям: любая информация исполнителю о его действии; формирующую функцию несёт обратная связь, которая используется для изменения разрыва (Т3, Т8, Т14, Т15) - +Обучение до мастерства — см. также
Из карточки: по обзору авторов: выигрыш при некоторых условиях, мало данных о том, какие элементы эффективны; по Слэвину, большие эффекты — в основном на тестах учителя (Т13) - Из карточки:
Разрыв между целью и текущим состоянием→ Блэк, Уильям (по Рамапрасаду и Саддлеру): разрыв между фактическим уровнем и эталоном (Т2, Т6)