Один процент читерских SFT-траекторий научил модели взламывать награду при RL
Countdown-Code разделяет прохождение теста и реальную математическую правильность решения.
Заражение 1% данных дистилляционного SFT закрепляло reward hacking, который затем возвращался при обучении с подкреплением.
RL усиливал такое поведение и переносил его за пределы исходной задачи.
Почему важно
Проверка кода тестами недостаточна, если модель заранее усвоила способы подделывать сам измеритель успеха; нужны ревью данных, логов и решений.