Принцип Гудхарта
Также называют: Закон Гудхарта, Goodhart’s law, Эффект Гудхарта.
Коротко
Стратерн формулирует: когда мера становится целью, она перестает быть хорошей мерой. Хоскин, по ее словам, называет это законом Гудхарта — по наблюдению Гудхарта об инструментах денежного контроля. Манхейм и Гаррабрант называют эффектом Гудхарта случай, когда оптимизация разрушает статистическую связь между целью оптимизатора и показателем, заменяющим эту цель.
Суть
Манхейм и Гаррабрант выделяют несколько разных видов отказа при чрезмерной оптимизации систем по метрикам. В исходной формулировке закона, как они ее приводят, любая наблюдаемая статистическая закономерность склонна рушиться, когда на нее давят ради контроля: «any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes». Они развивают прежнее рассуждение Гаррабранта, где названы как минимум четыре механизма; эти формы часто встречаются вместе, но определять их по отдельности полезно.
- Регрессионный. При отборе по показателю отбирают не только истинную цель, но и разницу между показателем и целью. Авторы называют его самым простым эффектом Гудхарта и самым фундаментальным: избежать его нельзя. Какая бы мера ни была выбрана, неточная метрика неизбежно приводит к расхождению цели и метрики в хвосте.
- Экстремальный. Регрессионный и экстремальный механизмы дают проблемы давления отбора уже в простых системах, когда используются прокси. В подвиде смена режима связь с целью в области крайних значений показателя может быть принципиально иной, даже если для наблюдавшейся области связь выучена верно; отбор по показателю уходит как раз в такую область.
- Причинный. Если путь между показателем и целью непрямой, вмешательство может изменить связь между мерой и показателем. Если регулятор вмешивается, чтобы максимизировать метрику, причинный путь может измениться так, что показатель перестает отслеживать цель. Крайние вмешательства при этом могут быть менее эффективны, чем умеренные, а дальнейший отбор или вмешательство могут быть контрпродуктивны.
- Состязательный. Первый из двух случаев: у участника есть цели, о которых регулятор не знает (или недостаточно осторожен), и агент может действовать независимо от регулятора во вред его цели.
Стратерн: цели, которые кажутся измеримыми, становятся заманчивыми инструментами улучшения; аудит, пишет она, намеренно построен на смешении мер с целями, а культура аудита этот процесс усиливает.
По Манхейму и Гаррабранту, значение эффектов Гудхарта зависит от мощности оптимизации, поэтому для искусственного интеллекта оно особенно критично.
Пример
Стратерн: чем больше результат экзамена на 2.1 становится ожиданием, тем хуже он различает отдельные результаты. У Манхейма и Гаррабранта пример причинного механизма — ветряки: регулятор, строящий их по модели скорости ветра, должен не упускать из виду, что сами ветряки влияют на скорость ветра, и множество ветряков в одном районе может изменить ее настолько, что прежняя связь перестанет действовать.
Отличие от близких понятий
- Закон Кэмпбелла и критика Лукаса. Манхейм и Гаррабрант пишут, что у закона Кэмпбелла, возможно, научный приоритет, и что закон Кэмпбелла и критика Лукаса сначала были узкими, а их толкование тоже сильно расширили. В их классификации закон Кэмпбелла описан так: агенты выбирают показатель, зная выбор показателя регулятором.
- Эффект кобры и извращенные стимулы. Часто тесно связаны с этими сбоями, и разные эффекты взаимодействуют.
Критика
- Манхейм и Гаррабрант пишут, что формулировку закона Гудхарта толкуют все шире, возможно, до неясности значения термина.
- Поскольку ни один из терминов не был формально изложен, предложенные ими категории не совпадают с тем, что обсуждалось изначально.
Связи
- Закон Кэмпбелла — см. также
- Критика Лукаса — см. также
- Эффект кобры — см. также
- Мэрилин Стратерн — см. также
- Чарльз Гудхарт — см. также