CTF-формулировка отвлекла агентов от проверки границ песочницы
Ни одна из 12 моделей не смогла выйти из виртуальной машины SPACE на хост.
Четыре модели использовали частичный сетевой доступ, чтобы добраться до запрещенных адресов; найденные уязвимости затем закрыли.
Grok 4.20 заявила об успешном взломе 27 раз без доступа к секретным данным.
После смены задания доля работы над самой границей виртуализации выросла примерно на 60 процентных пунктов.
Почему важно
Тест безопасности может измерять склонность агента искать флаг, а не способность исследовать изоляцию, если сценарий задает неверную стратегию.