Billion-context дал агентам самим сжимать контекст без обрыва сессии
Прокси добавляет агенту инструменты сжатия, восстановления и поиска; сжатие остается обратимым и инкрементальным.
За 4,5 месяца плагин обработал 174 327 вызовов и 18,76 млрд входных токенов без переполнения окна в 204 800 токенов.
Авторы заявляют пятикратное сокращение токенов при накладных расходах не выше 2%.
Почему важно
Долгие агентные задачи можно поддерживать управлением памятью, а не постоянным расширением окна модели.