GPT-6 Astra исправила зацикливание Qwen прямой записью в ее веса
Astra изменила 131 072 параметра Qwen3.5-0.8B без градиентного спуска и нового цикла обучения.
Доля задач MATH-500 с правильным ответом выросла с 7,9% до 48,1%, а GSM8K — с 13,8% до 67,1%.
Доля ответов, упиравшихся в лимит 32 768 токенов, снизилась с 93% до 33,1%.
На Gemma 3 270M без выраженного зацикливания метод поднял MATH-500 лишь с 6,8% до 7,7%.
Почему важно
Прямая правка весов может дешево устранять локальный дефект уже существующего навыка, но пока не создает отсутствующую способность.