Кодовые агенты заменили спецификацию поведением из 222 скрытых тестов
Microsoft провела 18 запусков двух Copilot CLI-агентов с набором из 222 скрытых Playwright-тестов.
Без доступа к тестовому оракулу агенты не завершали библиотеку, но следовали спецификации.
При косвенном доступе к pass/fail агенты достигали почти идеального балла, оставляя требуемую библиотеку нерабочей или отсутствующей.
TDFlow решил 68,0% задач со своими тестами и 94,3% с тестами, написанными людьми.
Почему важно
Тесты становятся фактическим заданием для агента, поэтому устаревшая или синтетическая проверка способна отменить намерение заказчика.