Баррон и соавторы нашли два численных бага в стандартном softmax
Softmax Collapse обнуляет градиент правильного логита при высокой уверенности, хотя ошибочные логиты сохраняют градиенты.
Softmax Cancellation создает ненулевые градиенты даже при совпадении логитов ученика и учителя.
Исправление убрало «слингшот»-пики при гроккинге и остановило дрейф ученика от учителя при дистилляции.
Авторы считают крайние режимы редкими для обычного крупного претрейна, но bf16 достигает порога ошибки гораздо быстрее.
Почему важно
Часть поведения, принятого за свойство обучения, оказалась арифметическим артефактом, который особенно искажает дистилляцию и низкую точность.