Dust приблизила обучение трансформеров к backprop без обратного прохода
Dust добавляет разный шум к активациям токенов и по изменению их потерь оценивает направление обновления каждого слоя.
Метод использует только прямые проходы и передает полученную оценку градиента оптимизаторам SGD или Adam.
Dust сопоставима с backprop при SGD, но пока уступает ему при Adam.
Авторы оценивают Dust как в 1000–10 000 раз более эффективную, чем EGGROLL, при обучении от 1 млн токенов.
Почему важно
Обучение без дифференцируемой цепочки допускает поиск, симуляторы и внешнюю память внутри модели, где backprop неприменим напрямую.