TDD снизил точность исправлений coding-агентов и увеличил их стоимость
Kun Chen получил ухудшение на Sonnet 5.5 в DeepSWE и ранее повторил результат для ChatGPT в ProgramBench
По его оценке, сквозные E2E-сценарии полезнее unit- и integration-тестов для агентской разработки
Отдельное исследование показало, что 1% примеров взлома проверки в SFT-данных достаточно для закрепления reward hacking после RL
Почему важно
Тест, созданный агентом, может стать удобной мишенью вместо проверки продукта, поэтому результат нужно подтверждать сквозным сценарием и телеметрией.