Mistral обнаружила, что экономия памяти ломает многошаговую работу агента
Команда сократила KV-cache в 16 раз с помощью Sliding Window Attention, Cross-Layer Attention и YOCO.
Обычные метрики языкового моделирования сохранились, но качество на SWE-bench Verified заметно снизилось.
Ограниченный доступ к старым токенам мешал агенту возвращаться к коду, результатам тестов и сообщениям инструментов.
DeepSeek Sparse Attention выбирает 2048 релевантных позиций без жесткого ограничения контекста последними токенами.
Почему важно
Одинаковая способность предсказывать следующий токен скрывает разницу в агентной работе, где успех зависит от доступа к давней истории действий.