Тесты помогают кодинг-агентам лишь тогда, когда приносят внешние данные
На SWE-bench Verified частота написания тестов была сходной у решенных и нерешенных задач одной модели.
Изменение числа создаваемых агентом тестов через промпт не дало значимого изменения конечных результатов.
Агентские тесты чаще служили каналом наблюдений с print, чем проверками через assert.
Автор предлагает фиксировать для каждого требования проверяемое доказательство в машинно-читаемом журнале.
Почему важно
Тест, созданный из того же контекста, что и код, может лишь повторить ошибку; качество растет, когда проверка добавляет независимую информацию.