Anthropic научила Claude улучшать приложения по eval без переобучения модели
build-eval создает проверку в репозитории и ищет неоднозначные кейсы, нестабильный грейдер и недостаточную чувствительность.
hillclimb меняет систему по одному параметру и сохраняет изменение, только если выросли результаты train и test.
На скоринге лидов кэширование сохранило 20 из 20 ответов и снизило цену вызова на 34%.
Почему важно
Оптимизацию промптов, моделей и архитектуры можно превратить в воспроизводимый цикл экспериментов с защитой от самообмана и переобучения.