Саша Мадд предупреждает, что ИИ может отнять у людей право выбирать цели
Оптимизирующий интеллект находит средства для заданной цели, но не решает, заслуживает ли сама цель исполнения
Мадд называет автономией способность человека оценивать и пересматривать цели, а гетерономией — принятие целей извне
Риск возникает, когда люди передают алгоритмам определение желаемого результата вместе с выполнением задачи
Почему важно
Согласование ИИ с человеческими ценностями бесполезно, если люди разучатся сами формировать и обсуждать эти ценности.