Oreopoulos, Low — One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment
Вид: рабочая статья NBER (рандомизированный эксперимент)
Коротко
Вопрос: что дает школьникам ИИ-тьютор Khanmigo, если встроить его в обычные ежедневные занятия по математике для отстающих?
Ответ: Назначение программы с ИИ-тьютором Khanmigo подняло успеваемость по математике примерно на 0,06–0,08 SD за учебный год, и эта отдача близка к оценкам для практики на той же платформе без ИИ; узким местом, по-видимому, является вовлеченность (Oreopoulos и Low).
Тезисы
Т1. Назначение программы подняло результат по математике примерно на 0,06 SD за учебный год и примерно на 0,08 во втором году
- Аргумент: оценка относится к назначению программы, а не к фактическому участию.
- Цитата: «Assignment increased mathematics scores on the district’s benchmark assessment by 1.3 national percentile ranks per term, or roughly 0.06 standard deviations per school year and about 0.08 in the second year.»
Т2. Эффект следует за объемом практики: выигрыш сосредоточен во втором году, когда практики было больше всего
- Аргумент: выигрыш и объем реальной практики растут вместе, и самым высоким объем практики был во втором году.
- Цитата: «Effects track realized practice: gains are concentrated in the second year, when practice was highest.»
Т3. Выигрыш сходен с тем, что дает та же платформа без ИИ
- Аргумент: сравнение идет с оценками для той же платформы без ИИ.
- Цитата: «Second, these gains are similar to those predicted by the same platform without AI assistance.»
Т4. Oreopoulos и Low объясняют выигрыш прежде всего структурированной практикой, а вклад тьютора считают ограниченным малой интенсивностью его использования
- Аргумент: вывод подводит итог разбора того, что несет эффект, и ограничивает роль тьютора.
- Цитата: «Taken together, the evidence supports interpreting our estimates primarily as the effect of structured, individually targeted practice, with the tutor’s contribution bounded by the low intensity of its use.»
Т5. Почти все ученики хотя бы раз писали тьютору
- Аргумент: это охват пробовавших, а не частота использования.
- Цитата: «Ninety-six percent of students messaged Khanmigo at least once.»
Т6. Сообщения ученика тьютору были в основном короткими ответами и кликами по подсказкам; математический вопрос или шаг рассуждения составляли 14,5%
- Аргумент: основная часть сообщений — одно- или двухсловные ответы на вопросы самого Khanmigo или клики по подсказкам.
- Цитата: «The messages students did send were mostly one- or two-word answers to Khanmigo’s own questions or clicks on suggested prompts; 14.5 percent contained a mathematical question or a step of reasoning.»
Т7. Узким местом выглядит вовлеченность: реализовать обещание ИИ-тьюторинга можно, только добившись, чтобы ученики им пользовались
- Аргумент: одного доступа к тьютору недостаточно.
- Цитата: «The binding constraint appears to be engagement: realizing the promise of AI tutoring will require getting students to use it, not just giving them access.»
Т8. Сравнение программы с человеческим тьюторингом не довод в пользу замены тьюторов
- Аргумент: человеческий тьюторинг дает больше обучения на ученика в год, и результаты не говорят, что программа закрывает этот разрыв.
- Цитата: «The comparison should not be read as a substitution argument for tutors (or teachers): human tutoring delivers more learning per student per year, and nothing in our results suggests that software closes that gap.»
Т9. Рост вовлеченности, по Oreopoulos и Low, потребует архитектуры выбора, которая учитывает низкую мотивацию, избегание усилий, неуверенность и фиксированную установку
- Аргумент: речь идет о мотивации и поведении ученика.
- Цитата: «Improving engagement will require a choice architecture that addresses low motivation, effort aversion, lack of confidence, and a fixed mindset.»
Пример
Ученик получает на занятии задачу, и рядом с ней есть окно чата с Khanmigo и готовые подсказки. Тьютор не дает ответ, а задает наводящие вопросы. Чаще всего ученик отвечает на них числом или нажимает готовую подсказку, а на типичном занятии не пишет тьютору вообще.
Критика
- Oreopoulos и Low признают, что опыт не выделяет вклад самого тьютора, но считают, что данные об использовании его ограничивают. Цитата: «The design cannot isolate the tutor’s marginal contribution, but the usage data bound it: whatever an AI tutor can do in principle, this one was seldom asked.»
- Связь практики и успеваемости внутри группы лечения описательная. Цитата: «These regressions are descriptive: engagement is not randomly assigned within the treated arm, and students who engage more intensively likely differ in unobserved respects.»
Связи
- +Интеллектуальные тьюторские системы — см. также
- +Тьюторство — см. также
- +Адаптивное обучение — см. также
- +Обратная связь — см. также
- +Фиксированная установка — см. также