MVR-cache: Optimizing Semantic Caching via Multi-Vector Retrieval and Learned Prompt Segmentation
MVR-cache 把 LLM 语义缓存的“新 prompt 是否命中已缓存 prompt”问题升级为多向量检索:先用一个可学习的 segmentation 模型对 prompt 做细粒度切分,再用 MaxSim 做 segment 级相似度比较;训练目标从理论上对应“严格正确性约束下命中率最大化”,并采用 RL 训练策略,把基于理论的目标作为 reward 来解非可微的组合优化问题。在多个公开语义缓存基准上提升命中率。
INSIGHT社区搜索接入 LLM rerank/总结/Agent 后,语义缓存是降本最直接的杠杆,但传统单向量相似度对“同义但局部改写”的 query 召回不准。MVR-cache 的启示是:把 prompt 切成 segment 再 late-interaction,可以捕捉到“同主题、局部信息变化”的 prompt 等价类;训练时把“严格正确性 + 命中率最大化”写成 RL reward,是工程上把缓存错误率与收益对齐的可行做法。