Kevin Kelly — Swarm Intelligence
Вид: эссе-прогноз
Коротко
Вопрос: каким может быть мир через 50 лет, если ИИ окажется роем, а не одним центральным разумом
Ответ: Kelly считает более вероятным, чем сценарий одного огромного ИИ, что через 50 лет ИИ будет не одним огромным мозгом, а невидимой средой из множества взаимодействующих ИИ, которой, по его мнению, ни одна организация не сможет управлять целиком и которой, возможно, лучше управлять, как садом, чем конструировать её.
Тезисы
Kelly сравнивает свой сценарий с тем, который, по его словам, ожидает большинство: один огромный ИИ («one huge AI in the sky»).
Т1. Kelly считает такой мир вероятнее, чем сценарий одного огромного ИИ: ИИ станет невидимой средой-роем, а не одним мозгом
- Против: те, кто ждёт один огромный ИИ
- Аргумент: Kelly описывает ИИ как газ из несчётного числа мелких взаимодействующих ИИ, встроенных в роботов, машины и здания. Этот суперорганизм, по его описанию, составят тысячи видов разумов, зависящих друг от друга. Заметят его, только когда он даст сбой.
- Цитата: «Here is a possible world 50 years in the future, one I think is more likely than the scenario most people expect, which is one huge AI in the sky.» (раздел “Swarm Intelligence”, начало)
- Понятия: Рой ИИ
Т2. Kelly прогнозирует, что внезапный крах роя станет одной из главных опасностей: по науке о сложных системах, устойчивость держится на «золотой середине» связности частей
- Аргумент: наука о сложных адаптивных системах, как пишет Kelly, указывает на «золотую середину» связности. Слишком сильно связанные части застывают, слишком слабо связанные разлетаются. Настройка, при которой рой не рушится, по его словам, почти скорее искусство, чем наука.
- Цитата: «Parts that are too heavily interconnected seize up in rigid paralysis; parts too thinly connected fly apart in chaos. … A sudden collapse of a swarm intelligence will become a prime danger while using them.» (список заметок)
- Понятия: Золотая середина связности
Т3. Kelly прогнозирует, что ни одна организация не сможет контролировать рой
- Аргумент: по его мнению, скорее всего не найдётся одного создателя, владельца или оператора, которого можно винить за ошибку сетевого разума. Ответственность размыта: он называет это одновременно благом и проклятием. Kelly ожидает новые виды распределённого страхования и права, а также систему доверия для проверки множества агентов.
- Цитата: «No single institution, corporation, or government will be able to control the swarm environment.» (список заметок)
- Понятия: Распределённая ответственность
Т4. Kelly прогнозирует, что общество разумов породит паразитов, спам и враждебных агентов, и что вырастет аналог иммунной системы для их обнаружения и изоляции
- Аргумент: общество разумов, по его прогнозу, породит паразитов, мошенничество, спам и враждебных агентов. Большинство агентов в рое будут настоящими ботами. Kelly ожидает, что вырастет аналог иммунной системы, который обнаруживает и изолирует вред, и видит в этом экономическую возможность.
- Цитата: «A society of minds will produce parasites, scams, slop, spam, and adversarial hacker agents. … We’ll grow some equivalent of an immune system with white blood cells to detect, isolate, and diminish the harm.» (список заметок)
- Понятия: Иммунная система роя
Т5. Kelly считает, что роем, возможно, лучше управлять как садом, чем конструировать его
- Аргумент: он говорит об ограждениях, разрешениях, границах и изоляции, чтобы растить нужный результат. Ожидает, что будут сажать много видов разумов и культивировать те, что ведут себя хорошо. Управлять предполагается косвенно и несовершенно, с наблюдением и постоянным вмешательством, как рынками или городами.
- Цитата: «Rather than engineering, the best way of managing swarm AI may be more like gardening.» (список заметок)
- Понятия: Выращивание вместо инженерии
Связи
- Из карточки:
Рой ИИ→ Kevin Kelly: ИИ как суперорганизм из множества взаимодействующих разных разумов, ставший средой (Т1) - Из карточки:
Золотая середина связности→ Kevin Kelly: устойчивость роя зависит от «золотой середины» связности частей (Т2) - Из карточки:
Распределённая ответственность→ Kevin Kelly: у роя, по прогнозу Kelly, скорее всего не будет единого создателя, владельца или оператора, которого можно винить (Т3) - Из карточки:
Иммунная система роя→ Kevin Kelly: ожидаемый механизм обнаружения и изоляции вредных агентов (Т4) - Из карточки:
Выращивание вместо инженерии→ Kevin Kelly: управление роем через ограды и культивирование, а не через понимание каждого внутреннего механизма одним алгоритмом (Т5)