CacheWeaver: Cache-Aware Evidence Ordering for Efficient Grounded RAG Inference
RAG 提升事实性的同时拉长 prompt、抬高 prefill 成本,而 vLLM 等引擎的 prefix caching 只在请求共享相同 token 前缀时才省钱。问题在于相邻 query 检索到的证据集合常有重叠但顺序不同,集合重叠无法转化为可复用的前缀重叠。CacheWeaver 是一个轻量的 prompt 层方法:维护一棵近期已服务证据序列的前缀树,用贪心游走把最可复用的前缀排在最前,不改动 serving 引擎和检索结果集。在 3 种 vLLM 配置下,相对按检索顺序的 prefix caching,中位 TTFT 降低约 20–33%,QA 答案质量不受影响;贪心策略达到 oracle 排序 TTFT 收益的 97.5%。
INSIGHT证据排序这个被忽视的环节直接决定 RAG 的 KV-cache 复用率。对社区搜索的 RAG 问答场景,只需在检索与推理之间插一个调度层重排证据顺序,就能拿到接近最优的 TTFT 收益,几乎零成本、零模型改动。前缀树+贪心的设计简单可落地,尤其适合证据集高度重叠的高频 query;可借鉴的点是把 cache 友好性纳入证据组装策略,而不是只看相关性排序。