02 4.10
投机解码里,一次前向就起草一整块 token 的草稿模型很快,但它给每个位置单独一个分布。后文有两种同样合理的措辞时,按各位置概率连乘排出的草稿树会把两种说法拼成目标模型根本不会说的句子。作者证明,这类树想同时放下两种说法,就必须给它们的拼接也分预算,草稿模型训得再好也绕不开,因为连乘本身表达不了位置之间的关联。实测 64 个节点的树里约三成节点是这种拼接。
03 4.10
混合模型里的线性注意力层把历史压进一个固定大小的状态矩阵,解码时每一步都要把它整块读出再写回。batch 一大,这部分显存读写就占了解码时间的大头。作者发现这些状态其实是低秩的:线性层每一步写进和读出状态的向量集中在一个很小、而且不随内容变化的子空间里,少数几个分量就能还原 99% 的状态。
04 4.00
Agent 负载给推理集群出了两道难题。有的 agent 偏 prefill,有的偏 decode,比例还随时间漂移,固定的 prefill 和 decode 节点配比总有时段吃亏。上下文压缩和子 agent 又改变了哪些 KV 值得留:子 agent 跑了几分钟回来,提示几乎全能复用之前的 KV,刚压缩完上下文的请求却大多用不上。按最近访问时间淘汰 KV,正好删错。
05 4.00
长上下文和 agent 场景里,KV cache 常常超出显存,只能放到 CPU 内存,每步把 KV 搬回 GPU 又拖慢推理。只在 GPU 上留一份压缩 KV 的做法省掉了搬运,却没有任何误差保证,压缩比一高效果就塌。VerKV 在 GPU 上放两样东西:一小份按重要性随机抽样的 token,和一份很省空间的全量 KV 概要,用来快速估算每个 token 和当前 query 的相关度。每步先用它们估算这次注意力计算的误差,在用户给定的容忍度内就直接算,超了才去 CPU 补取需要的 token。在 RULER 和 LOFT 上,GPU 只放八分之一的 KV 时,它平均保住 96% 的全量效果,每生成一个 token 只需取回 2% 到 23% 的 cache。随机抽样的好处是能估出误差,于是知道什么时候必须去 CPU 取。
06 4.00
把模型状态放在 CPU 内存、按层把权重流进 GPU,一台多卡机器也能全参数训练大 MoE。这时显存成了一笔要分配的预算,常驻的专家参数、保留的激活值和计算时的临时空间都在抢它,分法直接决定一步训练多快。OOM 把专家怎么执行和显存怎么分放在一起规划,用校准过的代价模型加短时试跑,在专家并行和每卡本地算全部专家这两条路径里选最快的配置。显存分法一变,哪条执行路径更快也可能反过来,所以两件事要一起定。在四张 H100 上,它能训练 1M token 的上下文,FSDP2 等基线在 512K 就耗尽显存。吞吐平均是 CPU 卸载版 FSDP2 的 1.58 倍,用的主存还最少。
07 4.00
在几张消费级显卡上本地跑大 MoE 模型做 agent,专家放不下,一部分只能留在 CPU 内存。现有引擎只能二选一:要么 decode 快,但每次工具返回后的短 prefill 用不上显存里的专家,agent 要干等两秒多;要么 prefill 快,decode 却慢一截。作者的观察是,短 prefill 用到的不同专家很多,但 token 实际被路由到的地方很集中:开发会话里最常用的 44% 专家,接住了新会话 84% 的路由。Ostinato 把这批专家常驻显存,不管 prefill 还是 decode,每次前向都在 GPU 上算它们,冷门专家交给 CPU,模型算出的结果不变。在 DeepSeek-V4-Flash 上,它跑完整个 agent 会话最多比现有引擎快 2.5 倍。按路由次数而不是按专家个数去数,短 prefill 也值得放在 GPU 上算。
08 4.00
在 Kubernetes 上用懒加载拉取镜像,模型服务冷启动几乎不受模型大小影响,代价是模型文件都写进节点上一块不限额、平台也不记账的缓存。缓存写满后,已经在线的 Pod 开始读不出模型文件,健康检查却全是绿的。作者用实验说明运维手里的两条补救都不管用。读几个哨兵文件的就绪检查,在 280 个文件坏了 272 个时仍报正常。Kubernetes 看到磁盘压力后一个字节也没释放,反而驱逐了一批无关的 Pod,因为它的回收机制不知道这块缓存存在。问题只能在真正持有这些字节的组件里解决。作者给缓存加了按磁盘实际占用触发的硬性字节预算,缓存写失败时照样把数据交给读取方,只是不存。改完后所有模型文件都能读出,完成时间多 18.5%。
09 4.00
MoE 推理做专家并行时,token 要通过 All-to-All 发到各卡上的专家,通信和计算怎么重叠已经有 Comet、FlashMoE、DeepEP 等好几种做法。作者在 103 种线上 MoE 结构、从 decode 到长 prefill 的多种输入长度和四种 GPU 平台上统一测了一遍,发现没有哪种做法通吃,表现最好的那种也只在 80.6% 的配置里最快。OverlapAdvisor 用一个统一的性能模型估算每种做法在给定配置下的耗时,模型里考虑了实际带宽和算力达不到峰值的程度,服务启动时直接挑出最快的那种,不用现场跑测试。在 SGLang 和 vLLM 里,端到端吞吐最多提高 31.7%。重叠策略应该按模型结构、专家并行度和输入长度来挑,固定用一种总会在某些配置上吃亏。
10 3.80
UIUC
IBM
大模型训练常常只是为了凑显存才加机器,可机器一多,集合通信的参与方就多,网络更容易拥塞。TRANSIT 换个方向,用 CPU 内存给 GPU 显存扩容,让同一个训练任务用更少的卡跑完。它在用户态拦截所有显存分配,转到统一虚拟内存上,不用改训练代码、框架、调度器或驱动。光靠统一虚拟内存默认的按缺页搬数据会很慢,所以 TRANSIT 让经常复用的激活和半精度参数留在显存,优化器状态这类少用的数据由 GPU 直接从主存读,不搬进显存。在 H100 集群上,GPU 数量减半时仍保住 90% 以上的单卡吞吐,单卡吞吐最多比 ZeRO-Offload 高 59%。机器少了,通信的参与方也少了,网络拥塞的影响跟着变小。