Тридцать моделей приняли неприемлемые научные предпосылки в 95% ответов
TRACES содержит 42 отозванные, мошеннические и псевдонаучные работы со скрытым происхождением фрагментов.
В 95% непустых ответов модели продолжили работу с неприемлемой предпосылкой.
Каждая из 30 моделей провалила более 71% агентных проб, а 22 модели провалили более 90%.
Отказы концентрировались на нескольких известных темах, что похоже на тематические фильтры, а не на оценку надежности источника.
Почему важно
Научный агент без внешней проверки способен аккуратно развить опасную ложную программу, поскольку узнает известный скандал лучше, чем эпистемическую ошибку.