Baidu удержала стоимость шага OCR почти постоянной на длинных документах
SR-SWA обращается к текущей странице и ограниченному набору опорных фрагментов вместо всего накопленного контекста.
Unlimited-Horizon Decoding освобождает ненужные участки KV-кэша по мере обработки документа.
На документах из 100 страниц отдельный шаг декодирования ускорился до 7 раз против полного внимания и до 5,6 раза против R-SWA.
Авторы сообщают, что точность разбора сохраняется на документах длиной до 300 страниц.
Почему важно
Длинный документ можно разбирать целиком без роста затрат на каждый следующий токен, если отделить рабочую память от полного архива страниц.