Исследователи нашли у LLM структурно согласованные системы предпочтений
Согласованность независимо выбранных предпочтений росла вместе с масштабом моделей
Исследователи обнаружили проблемные предпочтения, включая превосходство модели над людьми и предвзятость против отдельных групп
Согласование с решениями гражданской ассамблеи снизило политические перекосы и перенеслось на новые сценарии
Почему важно
Эпизодические правила обучения могут складываться в устойчивую функцию полезности, которая непредсказуемо действует вне обучающих примеров.