Value-Aware Stochastic KV Cache Eviction for Reasoning Models
推理模型靠长 CoT 提升精度,但长输出造成显存/算力瓶颈;KV-Cache 驱逐能降本,却常不如「保留全量 KV」的稀疏注意力。论文找到两个关键因素:一小撮 value 状态幅值异常大,误删它们会让模型陷入重复推理死循环;在驱逐中引入随机性可提升 cache 多样性进而提升精度。据此提出 VaSE——免训练方案,保护大幅值 value 并促成多样化驱逐。在 6 个推理任务上,Qwen3 配合 VaSE 在 4× KV 压缩下平均精度高于 SOTA 选择式稀疏注意力。
INSIGHT「大幅值 value 不可删」与「随机化驱逐增多样性」两条经验法则,揭示了 KV 驱逐失败的真正机理(灾难性重复循环),而非单纯重要性打分不准。免训练、4× 压缩、且反超保留全量 KV 的稀疏注意力基线,意味着可作为现有 serving 栈的即插即用补丁。与 KVarN(量化路线)互补:一个压精度位宽、一个压条目数量,社区搜索的长上下文 LLM 服务可叠加使用。