From Exact Hits to Close Enough: Semantic Caching for LLM Embeddings
本文系统研究了 LLM embedding 的语义缓存问题。证明最优离线语义缓存策略是 NP-hard 的,并提出多种多项式时间启发式算法。同时设计了结合最近性、频率和局部性的在线语义缓存策略。
INSIGHT语义缓存打破了传统精确匹配缓存的假设,相似但不完全相同的请求也可以复用。对搜索系统中的 embedding 服务来说,可显著降低重复查询的计算开销。
业务关联社区搜索中大量用户查询存在语义相似性,语义缓存可直接应用于 embedding 推理服务,降低延迟和计算成本。
证据在多个多样化数据集上评估,语义缓存命中率显著优于传统精确匹配缓存。论文提供了离线最优策略的 NP-hard 证明和多种在线启发式的对比实验。