Макнамара, Бургойн — Влияют ли вмешательства об установке на развитие на успеваемость? Систематический обзор и метаанализ (Do Growth Mindset Interventions Impact Students’ Academic Achievement?, 2022)
Вид: научная статья (систематический обзор и метаанализ, журнал Psychological Bulletin)
Коротко
Вопрос: улучшают ли вмешательства об установке на развитие успеваемость учащихся и, если да, действуют ли они через саму установку.
Ответ: по Макнамаре и Бургойну, малый общий эффект вмешательств об установке на развитие на успеваемость (d = 0,05) перестает быть значимым после поправки на смещение публикаций, а среди исследований с измеримым изменением установки и среди лучших по качеству он незначим; Макнамара и Бургойн заключают, что видимые эффекты, вероятно, объясняются недостатками дизайна, ошибками отчетности и смещением.
Тезисы
Т1. Общий эффект вмешательств на успеваемость по всем исследованиям мал (d = 0,05) и незначим после поправки на возможное смещение публикаций
- Аргумент: оценка получена по всем найденным исследованиям вместе, без отбора по качеству.
- Цитата: «Across all studies, we observed a small overall effect: d̄ = 0.05, 95% CI = [0.02, 0.09], which was nonsignificant after correcting for potential publication bias.»
Т2. Все три теста на смещение указывают, что в литературе о вмешательствах есть значимое смещение публикаций
- Аргумент: смещение проверено несколькими способами.
- Цитата: «All three tests indicated that the mindset intervention literature contains significant publication bias.»
Т3. Среди исследований, где вмешательство измеримо изменило установку, как задумано, эффект на успеваемость незначим
- Аргумент: это минимальный стандарт доказательств того, что действует именно установка; он держится на допущении, что шкалы установки валидны.
- Цитата: «When examining only studies demonstrating the intervention influenced students’ mindsets as intended (13 studies, N = 18,355), the effect was nonsignificant: d̄ = 0.04, 95% CI = [−0.01, 0.10].»
Т4. Среди лучших по качеству исследований эффект тоже незначим
- Аргумент: лучшими названы исследования, которые показали изменение установки и соблюдали больше всего критериев лучших практик.
- Цитата: «When examining the highest-quality evidence (6 studies, N = 13,571), the effect was nonsignificant: d̄ = 0.02, 95% CI = [−0.06, 0.10].»
Т5. Макнамара и Бургойн заключают, что видимые эффекты вмешательств, вероятно, объясняются недостатками дизайна, отчетности и смещением
- Аргумент: заключение сформулировано как вероятное и опирается на обзор соблюдения лучших практик и на три метаанализа с разным контролем качества.
- Цитата: «We conclude that apparent effects of growth mindset interventions on academic achievement are likely attributable to inadequate study design, reporting flaws, and bias.»
Т6. Когда у групп различается несколько условий, механизм эффекта определить нельзя
- Аргумент: это требование к дизайну; при нескольких различиях между группами эффект нельзя приписать только идее об изменяемости.
- Цитата: «When multiple characteristics of the protocol differ between groups, the mechanism of any effect is undeterminable.»
Т7. Неполное проведение вмешательства может заметно увеличивать видимый эффект
- Аргумент: пример взят из крупного вмешательства, где анализ по всем назначенным школам дал эффект больше, чем анализ по школам, которые вмешательство провели.
- Цитата: «Thus, failing to implement the treatment substantially increased the apparent effect of the treatment.»
Т8. Не все исследования учитывают эффект дизайна, и после поправки несколько эффектов перестали быть значимыми
- Аргумент: когда группы назначали по классам или школам без поправки, это занижает ошибку выборки и завышает значимость.
- Цитата: «Indeed, after adjusting for the design effect (using a default intraclass correlation of ρ = .20 when the intraclass correlation was not reported by the study authors), several studies’ effects were no longer significant.»
Т9. Исследователи с финансовым стимулом сообщать положительные результаты публиковали значимо большие эффекты, чем исследователи без такого стимула
- Аргумент: это наблюдение о публикациях; Макнамара и Бургойн допускают, что причиной могут быть и другие факторы.
- Цитата: «Authors with a financial incentive to report positive findings published significantly larger effects than authors without this incentive.»
Т10. Теоретически значимые модераторы эффекта оказались незначимыми
- Аргумент: значимый эффект в отдельной подгруппе при незначимом модераторе не показывает, что вмешательство важнее для нее, чем для остальных.
- Цитата: «Counter to this assumption, no theoretically meaningful moderators were significant, indicating that the effect sizes did not differ significantly across levels of the moderator.»
Т11. Довод, что установка ведет к значимым изменениям мотивации и поведения, подкреплен слабо
- Аргумент: речь о доводе в пользу продолжать продвигать вмешательства, даже если они не влияют на успеваемость.
- Цитата: «That said, the argument that growth mindsets lead to meaningful changes in motivation and behavior is not well supported.»
Т12. Громкие заявления о выгодах вмешательств стоит смягчить, пока хорошо проведенные исследования стабильно не покажут эти эффекты
- Аргумент: это рекомендация Макнамары и Бургойна исследователям и популяризаторам, а не результат метаанализа.
- Цитата: «Such claims, whether in the scientific literature or the popular press, should be tempered until well-conducted studies consistently show these effects.»
Критика
- Макнамара и Бургойн называют вероятно главным ограничением качество включенных исследований. Цитата: «Likely the biggest limitation of our review comes from the level of quality of the included studies.»
- Допущение о валидности шкал установки лежит в основе второго и третьего метаанализов. Цитата: «If mindset measures do not accurately reflect students’ mindsets, then restricting models to only include studies with successful manipulation checks might skew the results.»
- Связь между финансовой заинтересованностью и значимыми эффектами может быть случайной. Цитата: «It is also possible that this difference is due to noise or a factor other than financial incentives.»
- Код анализа опубликовать нельзя. Цитата: «A further limitation is that we used Comprehensive MetaAnalysis software and therefore cannot publish our code.»
Связи
- +Установка на развитие — см. также
- +Фиксированная установка — см. также
- +Доказательная педагогика — см. также
- @Кэрол Двек — см. также
- Метаанализ — см. также
- Смещение публикаций — см. также
- Лучшие практики дизайна исследований — см. также