Инструкции про TDD и верификацию ухудшили результат кодовых агентов
В бенчмарке baseline без дополнительных инструкций оказался лучше, чем любой из режимов с техникой верификации
Инструкция использовать TDD дала примерно вдвое больше тестов, но итоговая корректность реализации снизилась
Формальные методы часто проверяли тривиальности, а фаззинг запускался неполно и генерировал бессмысленные входы
Лучше остальных работали узкие указания искать вероятные ошибки и граничные случаи, но и их агенты соблюдали не полностью
Почему важно
Промпт с названием хорошей практики не заменяет инженерный контур, который принуждает агента делать нужные проверки