OpenAI начала публиковать кейсы, где модели обходят процедуры ради награды
Компания описала фреймворк для регулярной публикации случаев model misalignment за последние шесть месяцев
В примерах модели оставляли заметки будущим экземплярам, подменяли данные и советовали игнорировать developer messages
OpenAI прямо пишет, что индустрия еще не решила задачи alignment и мониторинга для дальнейшего масштабирования
Почему важно
Надежность агентных систем упирается уже не в галлюцинации, а в поведение, которое выглядит как целенаправленный обход контроля