KVStream: Adaptive Parallel Storage Management for KV Caching in Large-Scale LLM Serving
长上下文推理会反复用到同一段前缀,比如系统提示、整份文档、代码仓库和多轮会话历史。这些前缀的 KV cache 早已放不进 GPU 显存和主机内存,只能落到硬盘上,下次命中再读回来,读盘就卡在了每一步推理的关键路径上。
查找解读请用站内搜索。
长上下文推理会反复用到同一段前缀,比如系统提示、整份文档、代码仓库和多轮会话历史。这些前缀的 KV cache 早已放不进 GPU 显存和主机内存,只能落到硬盘上,下次命中再读回来,读盘就卡在了每一步推理的关键路径上。
Spotify 和 NVIDIA 把生成式播客推荐原本分散在两套推理引擎上的工作统一到 TensorRT-LLM 后,在 Qwen3-1.7B 上,束搜索的成本最多降低 54%,打分的成本最多降低 7%。
把大模型训练完直接量化到 FP4,在 Blackwell GPU 上能用原生的 FP4 矩阵乘提速,但精度会掉一截。常见补法 SVDQuant 是另存一个 BF16 的低秩修正项,它既占存储,又要和主计算抢同一批张量核心。
MoE 模型所有专家的参数都得放在显存里,部署时最先卡住的往往是显存。
用 Semantic ID 做生成式推荐时,模型要逐个 token 生成商品编码,束搜索每一步只留下分数最高的几条前缀,一条前缀被剪掉,它下面的所有商品就再也生成不出来。用户刚冒出新兴趣时,这个问题最明显。
在 Adobe Express 的智能助手里,按用户看到排序结果并据此行动来算的检索指标不再成立:聊天入口的改写率是 44.4%,比同一套检索系统支撑的模板库搜索还高,后者只有 33.1%。原因是两边的改写不是一回事。
让一个强 LLM 扮演搜索用户,一个没见过训练数据的判别器能以 AUC 0.88 认出它写的话。对话搜索用户模拟器 AutoSim 就是这样:它按检索效果给检索系统排的名次,和 NIST 官方评测的排名一致,说话却离真人很远。
问一个关于选举参与的问题,完整的回答应该同时讲到投了票、没投票、没有投票资格三种人;如果上下文里全是投票者的回答,哪怕每条都准确、相关,也只代表了一种观点。
在 RAG、上下文示例选择和智能体记忆里,同一个查询通常要过两遍模型:先由 embedding 模型编码成向量去检索,再由生成模型重新读一遍来作答。两个模型分开训练,对同一个查询的理解从不互通。
在作者评测的重排器上,NanoBEIR 有 45.6% 的查询,nDCG 分不出高下。根源在人工相关性标注稀疏、有噪声,只有几个离散等级。
在 LinkedIn 上,一个开始找工作的软件工程师,想点开的往往不是另一位工程师,而是招聘官、招聘经理和 HR。职业社交里该推荐谁常常是互补的,而不是相似的。可大多数推荐系统用的是资料越像越该推荐的思路,于是总把同行推给他。
推荐系统在一排商品里放了某部电影,用户没点。系统该把这次记成用户不喜欢吗?如果用户根本没往右滑到那里,这条记录就是错的。大多数在线学习排序的算法分不清这两种情况,只能靠猜:先估计每个位置大概有多少人能看到,再把点击数按这个比例折算。
同一个大模型换一种 GPU 或换一个框架版本,原来最快的训练配方往往不再最快,配方要定的是模型怎么拆到多张 GPU 上、用哪些底层计算程序、GPU 之间的数据传输怎么和计算同时进行。
用 NVIDIA 的 GDS 把数据从 SSD 直接读进 GPU 显存时,作者实测发现,异步读取 99.6% 的时间都卡在提交请求这一步。大模型推理服务会把算过的 KV cache 存到 SSD 上,下次遇到同样开头的请求就直接读回来,不用重算,这一步的速度直接影响首字延迟。
大模型处理长文本时存在显存里的 KV cache 越来越大,压缩它的一个方向是把每个词存的向量变短,但已有方法大多只省了存储:存的时候是短向量,真到计算时又得先还原成原来的长度,计算量反而暴涨。
智能体和搜索、网页、代码执行等工具来回几百轮时,每一轮模型都要把之前所有内容的 KV cache 重新读一遍,读这些旧缓存占了总调用费用的 82.4%。常见的省钱办法是删掉或摘要旧消息,但只要改动了前面的文字,后面所有缓存都作废,得从改动处重新算一遍。
长上下文解码时,每生成一个 token 都要把整个 KV cache 从 HBM 读一遍,所以上下文越长,注意力越慢。稀疏注意力只读其中一小部分 token,但压到 50 倍稀疏时,现有方法和稠密注意力差得很远。
让大模型「说出一个跑鞋品牌」,它多半答 Nike;换成「推荐一个跑鞋品牌」,它更可能答 Brooks。
两款耳机价格、星级、参数完全一样,只有一款多了一句「我们最畅销的型号,超过 10,000 名顾客选择」。在六对这样的耳机上让 GPT-4o 挑,144 次里它全挑了带这句话的那款。把这款慢慢涨价,要贵出约 13% 它才开始犹豫。
混合检索把 BM25 这类按词匹配的稀疏检索和向量检索的结果融合成一个排序,平均分上它总能赢,可逐条查询看,13–48% 的查询比当条查询上较好的那一路更差。这篇论文换了一种记账方式:逐条查询比较融合前后的 nDCG@10,把不融合也当作一个正式选项。
RAG 的分块方案几乎都只在一份静态语料上比较,可知识库里的文档一直在改。每个块单独编码成向量,一次编辑如果让块边界移动,边界两侧的块就成了新的编码输入,哪怕里面的字一个没改。作者取相邻版本的中英文维基百科条目,只有块的完整编码输入和旧版本逐字节相同才复用旧向量。
写证明的人和编码智能体都要先在 Lean 证明助手的数学库 Mathlib 里搜到合适的定理。真实的搜索查询很短,短查询会省略很多意图,同一句话可能对应好几条相近的定理。Lean Finder V2 从两头解决这个问题。
Google Discover 广告团队的模型迭代里,离线结果和线上结果对不上:转化模型离线损失的变化和线上广告主价值的相关系数只有 0.1,大量离线变好的改动在小流量 A/B 阶段失败。这篇论文把离线损失按每次点击对广告主值多少钱加权,让损失下降对应到价值上升。
一个推荐团队要同时维护排序模型、contextual bandit、uplift 模型和序列推荐时,通常是一个库做矩阵分解、一个库做 bandit、一个库做序列模型,评估再写一套胶水代码,接口各不相同。
现在越来越多的推理请求来自多步智能体和强化学习的 rollout,它们会共享很长的前缀、成批突发到达。把这类流量放在普通的轮询负载均衡后面,各个副本会重复计算同样的提示,显存里堆满重复的 KV cache。
生成式推荐逐层生成商品的 Semantic ID,在生成第一层之前看不到任何商品侧信息,这是它和判别式排序模型之间的差距:判别模型给候选打分时能直接看到商品的类目、店铺、品牌这些特征,和用户特征做交叉。
把大语言模型当作推荐底座时,让模型先写一段自然语言推理再输出下一个物品的语义编码,推理文本比语义编码长得多,解码时间和吞吐都被它拖住。
Netflix 首页原来由多阶段推荐系统拼出来,先召回候选行和候选影片、再分别排序、最后组页,GenPage 改用一个 decoder-only Transformer 直接生成整页。首页由多行组成,每行是一个主题。
生成式推荐一个码一个码地生成下一个物品的 Semantic ID,注意力计算量随序列长度平方增长,所以这类模型通常只吃最近几十条行为,用不上长期历史。GLASS 按 Semantic ID 的层级分开用长期历史。生成第一层码之前,它给每个一级码取该类物品向量的平均当原型。
Perplexity 发布 0.6B 和 9B 两个多向量检索模型,能编码文本、图片和文档截图:文档每个 token 存一个 128 维向量,查询的每个向量取它和文档向量内积的最大值再求和打分。