ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding
并行草稿模型一次前向就能写出一整块草稿 token。现在的做法是先写满一整块,再挑最有希望的几个去验证。作者发现高负载下这很浪费:写草稿占到每步时间的 40%,而写出来的大部分根本没被验证就丢掉了。难点在于并行草稿模型必须在写之前就定好长度,没法像逐个生成的草稿模型那样写到没把握时停下。
今日场景今天的主线是 agent 推理服务里的缓存和调度。一篇论文发现一次流量突发就能让靠前缀缓存的 agent 服务长期卡在低命中率,得在网关暂停部分会话才能恢复;ShadowPrefill 用空闲算力提前在备选模型上补算上下文,减轻按步换模型的代价。TKNP、ADIndex 和 SlackTier 分别从注意力在哪算、稀疏注意力的索引和大查找表放在哪入手,压低长上下文 decode 的开销。ForeSpark 和 NVLinkOneSided 砍掉小 batch 下投机解码和 MoE 通信的浪费。 — 评分 107 篇,入选 10 篇,分数 3.65 – 4.40
给 agent 做推理服务,全靠前缀缓存撑着:命中时每轮只补算新增的内容,没命中就要把几万 token 的上下文整段重算。作者发现这会让服务掉进一个出不来的坏状态。同样的基础流量,只多来几分钟突发请求,vLLM 的缓存命中率就跌到 10% 左右,吞吐减半,突发过去后积压还在涨。
并行草稿模型一次前向就能写出一整块草稿 token。现在的做法是先写满一整块,再挑最有希望的几个去验证。作者发现高负载下这很浪费:写草稿占到每步时间的 40%,而写出来的大部分根本没被验证就丢掉了。难点在于并行草稿模型必须在写之前就定好长度,没法像逐个生成的草稿模型那样写到没把握时停下。
MoE 推理时每一层都要做两次 all-to-all:先把 token 发到持有对应专家的 GPU,再把专家的输出收回来。推理时每张卡一次只处理很少的 token,这时耗时的不是搬数据,而是 GPU 之间互相等待、同步这类固定开销:数据量小到在 NVLink 上几乎瞬间传完,一来一回却要几十微秒。
agent 按步路由模型,简单的步给小模型、难的给大模型,能省钱,但每次换模型都要多付一笔:KV cache 只属于一个模型,换过去的模型手里没有最近的上下文,得先把它补算出来才能吐出第一个 token。在编码 agent 这类长上下文负载上,换模型的那一步最多要慢到平时的 3.2 倍。
长上下文高并发的 decode 里,稠密层和注意力的开销涨法不同:MLP 和投影只处理新生成的 token,权重读一次就能给整个 batch 用;注意力却要读每个请求越积越多的 KV cache。现有的并行方式各有代价。数据并行要复制权重,挤占了放 KV cache 的显存;张量并行一跨节点,大的 all-reduce 就要走慢网络;按序列切 KV cache 又要跨节点合并每段算出的部分结果。TKNP 把一份模型按层分块摊到多个节点上,每块的 稠密计算在持有它的节点内用张量并行完成,注意力则由每个节点只为自己负责的请求、用本地的 KV cache 来算。跨网络传的只有当前 token 的激活。在 vLLM 上,吞吐比按序列切分最多高 1.7 倍,比数据并行最多高 2.06 倍。权重放哪里和注意力在哪里算,可以分开决定。
DeepSeek 的稀疏注意力(DSA)让每个 query 只和挑出来的一部分 token 算注意力,但负责挑 token 的索引器仍要给前面所有 token 都打一遍分。上下文很长时,光索引器就能占掉 prefill GPU 时间的一半以上。作者观察到,相邻 query 挑中的 token 大量重合,重合多少还因层而异。ADIndex 让一组相邻 query 共用一次全量扫描:先用一个从原索引器蒸馏出来的小索引器,为整组挑出一个共享的候选 token 池,再由原来的索引器在这个小池子里为每个 query 各自挑最终的 token。每层的组大小和池子大小用离线校准单独定。在两个用 DSA 的大模型上,长上下文任务效果几乎不掉,128K 上下文时端到端服务快了 1.54 倍;上下文短时反而可能变慢。稀疏注意力省下了算注意力的钱,挑 token 这一步也要省。
DeepSeek 新模型带了两张按前几个 token 组合去查的大表(Engram 表),大到放不进显存,现在只能放在主机内存里,占掉服务进程的大部分内存。要读哪些行只取决于输入 token,所以每步一开始就能发起读取,和前面的层同时进行。作者发现关键在于读表的那一层前面还剩多少时间。靠后那层前面有十几层垫着,足够从 NVMe 读完;最前面那层几乎没有余量,读不及就得停下来等。SlackTier 据此按层决定表放在哪种存储上、一小块 GPU 缓存分给谁,靠后那层的表直接放 NVMe,缓存留给最前面那层。两张表都放到 NVMe 后,每个输出 token 的时间最多慢 1.4%,主机内存从 212 GiB 降到 34 GiB。表能放在哪,取决于读它的那层还剩多少时间。
VeRL-Omni 新版本把多模态强化学习的生成、打分、策略更新和权重同步放进一套流程,并让更多任务可以异步跑:生成和训练放在不同的 GPU 上,中间用一个缓冲区接起来,生成可以跑在训练前面。博客里最有用的是一组对比。在同一台机器上训练 MiniCPM-o 时,回答很短的情况下,把卡拆成生成和训练两组按每条 prompt 算反而慢了约 9%;把回答拉长到 1024 个 token,拆开跑就快了约 6.7%。原因在于只有生成占了大头,把生成和训练重叠起来省下的时间才抵得过拆分的代价。异步还是同步,要看生成在每一步里占多少时间。回答短、训练是瓶颈时,生成和训练共用同一组卡仍是默认选择。
GPU 集群的平台配置可以用配方锁住版本、反复复现,但集群上实际跑着哪些模型和推理框架,配方管不到;随时会变的镜像标签还会让两台节点在同一个标签下跑着不同的代码。NVIDIA 的 AI Cluster Runtime 这次把 Google 开源的 k8s-aibom 作为验证过的组件纳入。它监听 Kubernetes 上的工作负载,为每个认出来的 AI 工作负载生成一份 AI 物料清单,记下跑的是哪个模型、由哪个推理框架在服务,每一项还标明是声明的、推断的还是验证过的,以及依据在哪。控制器本身很轻,平均 CPU 只用 2.2 毫核,内存在 28 到 34 MiB 之间。清单记录的是工作负载声明了什么,并不证明它真的调度成功、跑了起来。
想把 GPU 算力以托管 Kubernetes 的形式提供给客户的 AI 工厂,要自己做集群开通、租户隔离、升级和故障恢复,还要在不同代的 GPU 和不同版本的 Kubernetes 上把驱动和运行时软件都验证一遍。NVIDIA 开源的两个新项目把这件事拆成两半。NVKR 从固定版本的源码构建节点镜像、容器镜像和软件包,并记下每次构建的全部输入,以后可以原样重建。NVKE 用这些产物,通过 REST API 开通和管理客户集群,每个客户集群有自己的控制面和节点池。客户只需按名字选一个工厂发布好的版本组合,不用直接碰操作系统镜像和启动配置。两个项目可以一起用,也可以单独用,目前都还在公开预览阶段,接口可能变,官方不建议用于生产。