02 4.25
Red Hat
长上下文的 agent 请求会一遍遍带着同样的前缀,KV cache 本可以复用,可显存一满就只能丢掉,下次重算。Red Hat 在 OpenShift AI 3.5 上把 KV cache 卸到 CPU 内存、本地 NVMe 或共享的 CephFS,并给出一个判断方法:某层存储的 p99 恢复延迟低于命中缓存省下的预填充时间,这层才值得用。在平均约 5 万输入 token 的 agent 负载上,Nemotron-Ultra-253B 的吞吐最多提高 5.8 倍。差别取决于工作集放不放得进 CPU 这一层。放不下时,只卸到 CPU 内存只有 3.3 倍,加上 NVMe 或 CephFS 几乎翻倍。放得下时,CPU 一层就拿到了大部分收益。多副本、高并发时,共享的 CephFS 能让各副本复用同一份缓存。先看工作集有多大,再决定要不要第二层存储。
03 4.20
FP4 量化每个数只有 16 个可选值,每块数据配一个缩放系数,决定这些格点落在哪。默认按块内最大绝对值缩放,离群值会把格子撑开。作者在 Qwen3-8B 的一个真实权重块里看到,最外面两个格点一个值都没分到,零附近密集的大多数值反而分辨率不够。已有的缩放搜索按逐元素重建误差挑系数,看的是权重本身像不像,而不是这一层的输出像不像。
04 4.20
向量库召回不好时,大家第一反应是调索引,但索引能找回的上限是 embedding 定的。作者在 VisualNews 上用 SigLIP2 做精确的暴力搜索,按距离找出的最近图片里,只有 2.04% 是标注里配对的那张。相比之下,HNSW 和 CAGRA 这类图索引几乎能保住精确搜索的全部召回。候选池扩大时,Qwen3-VL 平均还保住 72.3% 的召回,SigLIP2 只剩 33.2%。
05 4.05
多 GPU 程序扩展不上去,常常卡在数据搬运上,可现有工具看不清谁在搬什么。NVIDIA 的 Nsight Systems 只能提示 NVLink 上有流量,看不出是哪块卡发起的直接显存访问、访问的是哪个对象,NCCL 和 NVSHMEM 调用底下实际传了什么也看不到。Snoopie 基于 NVBit 做二进制插桩,跟踪点对点传输和通信库调用,把每次搬运对应到源码行和数据对象,并能从全系统一路放大到单条指令和地址。案例里,一个环形通信的 BFS 程序出现了本不该有的 1 号卡和 3 号卡之间的流量,对象视图指向一个只分配在 3 号卡上的标志指针数组,改正分配后多余传输就消失了。代价是插桩开销不小,在 NCCL 用例上尤其高。它适合定位通信问题,不适合常驻生产。
06 4.05
大模型 decode 由一串很短的 kernel 组成,大多受显存带宽限制。它们一个接一个独占整张卡执行,算力和带宽就时闲时忙,带宽打满时还有很多 SM 空着。SubGPU Pipelining 在一张卡内部做流水线:把算子图切成几段连续的子图,每段绑一组互不重叠的 SM,再把一批请求拆成小批次依次流过,让需求互补的工作同时进行。怎么切、每段给多少 SM、小批次多大,彼此牵动,作者用一个模拟共享资源争用的模拟器来搜。在 GPT-OSS 120B、32 张 B200 部署的模拟里,每卡吞吐相同时,每个用户的吞吐最多高 2.2 倍。实测只在一张 B200 上验证了一个两段配置,解码一轮时间缩短 10.33%。一张卡内部也能做流水线,把时闲时忙的资源错开用满。
07 4.05
专家并行的 MoE 解码受延迟限制:每层都要先把 token 分发到各卡、再做专家的分组矩阵乘、最后合并回来,三步串行,每张卡上同时在算的 token 又很少。此前的 GC-MoE 把三步融合成一个常驻的 CUDA Graph,在 Hopper 和数据中心 Blackwell 上运行。这篇把它搬到走 PCIe 的消费级 Blackwell 显卡上,比如 RTX PRO 5000。这代卡的块缩放矩阵乘只能用线程束级别的指令,数据中心卡上的几项硬件特性都没有,原来的 kernel 无法直接用。作者围绕 FP4 权重乘 FP8 激活的线程束级矩阵乘重写了整个算子,并重做了按专家流式分发和结果回传。在 8 张 RTX PRO 5000 上,它平均比 FlashInfer 的同类算子快 1.522 倍,18 个解码测试点全胜,数值检查全部通过。同一个融合思路换到消费级卡上,几乎要按新硬件重写一遍。
08 4.05
投机解码让便宜的草稿模型先猜几个 token,再由大模型一次前向验证。验证器用上 KV cache 以后自己就快了很多,草稿模型的开销就不能再忽略。作者在消费级硬件上测到,用 TinyLlama 当草稿,接受率很高,吞吐却减半、能耗翻了三倍。他们的 Olifant 草稿根本不是神经网络,而是一棵基于记忆的分类树,只看前面四个 token 预测下一个,在 CPU 上不到 0.3 毫秒出结果,不用 GPU,也不用反向传播。在带 KV cache 的验证器上,它仍能带来 1.25 倍吞吐,能耗是整项研究里最低的。作者还发现 KV cache 让速度和能耗不再同步:草稿越长,验证时功耗越高,所以最省电的草稿长度比最快的那个短。验证器越快,草稿就越要接近免费。