SwaT передала обработанный контекст между разными семействами LLM
SwaT передает KV-кеш между моделями вместо создания и повторного чтения текстового пересказа.
Метод работает между 12 моделями из шести семейств без дообучения отправителя и получателя.
Со сжатием кеша SwaT дала в среднем на 40% выше точность и в четыре раза меньше времени, чем текстовый обмен.
Визуально-языковая модель передала визуальную информацию обычной текстовой модели.
Почему важно
Агенты смогут передавать друг другу не пересказ, а уже обработанный опыт, сокращая потери контекста и повторные вычисления.