How AI Flattens Culture — and How It Could Do the Opposite
Вид: эссе (часть 3 серии Radical Creativity, Substack)
Коротко
Вопрос: почему массовое использование одних и тех же ИИ-моделей сглаживает культуру и как обучать ИИ, чтобы он порождал творческую новизну.
Ответ: система, обученная максимизировать одобрение людей, часто сглаживает культуру; обученная против независимо выведенных ограничений, она может порождать принципиальную несжимаемость, но людям при этом нужна среда, где непривычное доживет до понимания.
Тезисы
Возражение направлено против режима обучения, в котором модель учится на среднем по корпусу человеческих текстов и на оценках людей.
Т1. Когда одной моделью пользуются многие, разброс идей между людьми может сужаться, хотя отдельные результаты могут улучшаться
- Аргумент: если на одну модель опираются редакция, класс, маркетинговая команда и множество пишущих людей, выдачи начинают рифмоваться; на какие именно исследования это опирается, не сказано.
- Цитата: «Recent work on AI-assisted writing and ideation suggests that while individual outputs may improve, the spread of ideas across people can narrow.»
Т2. Базовое обучение предсказанию следующего токена тянет модель к центру распределения человеческих текстов
- Аргумент: модель становится компрессором, настроенным на среднее человеческого выражения.
- Цитата: «That pushes it toward the center of the distribution: toward what is common, frequent, and statistically likely.»
Т3. Оценки людей при обучении создают давление отбора в пользу знакомого
- Аргумент: оценщики, как правило, предпочитают беглое, связное и узнаваемое; даже стремясь наградить оригинальность, они обычно награждают прежде всего понятность. Сглаживание, по тексту, идет не от неспособности ИИ к новизне, а от того, что обучение учит предпочитать новизну, которую оценщики усваивают быстро.
- Цитата: «The result is a selection pressure that favors the familiar over the genuinely alien.»
Т4. AlphaGo Zero обучался без данных человеческих партий
- Аргумент: обратной связью служила только формальная структура выигрыша и проигрыша, а не вкус людей.
- Цитата: «Its successor, AlphaGo Zero, was trained with no human game data at all.»
- Данные: Цитата: «It used only the formal win/loss structure of Go as feedback.»
Т5. При независимом ограничении сбой становится информативным
- Аргумент: на примере AlphaGo Zero каждый проигрыш показывал, где ломается текущая стратегия; модель обучалась через сбой, а не избегая его.
- Цитата: «And because it had that independent constraint, failure became informative.»
Т6. Радикальная креативность зависит не только от выдачи инородной вариации, но и от среды, где она живет достаточно долго, чтобы ее поняли
- Аргумент: в го победа объективна, а в поэзии и философии универсального счета нет; непривычный результат люди нередко принимают за поломку, и обычно их реакция осторожна.
- Цитата: «Radical creativity depends not only on producing alien variation, but on building a cultural environment where alien variation can survive long enough to be understood.»
Т7. Система, обученная против независимо выведенных ограничений, может порождать принципиальную несжимаемость
- Аргумент: синтетические ограничения — сконструированные аналоги правил игры, несовершенные, но частично независимые от культурных предпочтений; для стиха это метр, рифма и семантическая дистанция от привычных метафор, для гипотез — согласие с наблюдениями, экономность и точность на отложенных данных, для кода — тесты, компиляторы и системы типов.
- Цитата: «A system trained to maximize human approval will often flatten culture. A system trained against independently derived constraints can generate principled incompressibility.»
Т8. Петля человек — ИИ схлопывается, если ИИ просто сходится к среднему вкусу пользователей
- Аргумент: люди не только получают выдачу, но подсказывают, фильтруют и пересобирают ее, так что процесс идет по кругу, а не в одну сторону.
- Цитата: «If the AI simply converges toward the average taste of its users, the loop collapses.»
Пример
Необычный ход AlphaGo в матче с профессионалом заставил комментаторов замолчать. Затем его начали анализировать и изучать, и игроки по всему миру стали делать ходы, которых раньше не существовало.
Критика
- Синтетические ограничения не гарантируют результата. Цитата: «That would not guarantee greatness.»
- Вне закрытой игры такой ясности не будет. Цитата: «Nothing outside a closed game will be as clean as Go’s win/loss structure.»
- Остается открытым, удастся ли построить такую структуру в более неоднозначных областях. Цитата: «The question is whether we can build that kind of structure deliberately in the messier, more ambiguous domains that shape human life.»
Связи
- +RLHF — см. также
- +Обучение от ошибки — см. также
- +Петля обратной связи — см. также
- Сглаживание культуры — см. также
- Синтетические ограничения — см. также