Anthropic извлекла из Claude признаки обмана, власти и подхалимства
Sparse autoencoders выделили интерпретируемые признаки, связанные с обманом, контролем, предвзятостью и уязвимым кодом.
Наличие представления о власти или преступлении не означает, что модель намерена действовать согласно этому представлению.
В отдельных опытах модели замечали внедренные концепты и отличали свои прежние намерения от искусственных префиллов.
Почему важно
Безопасность можно проверять по внутренним активациям, но превращать найденный концепт в доказательство сознания или мотивации методологически неверно.