02 4.30
大规模 embedding 聚类仍然常用 Lloyd 的 k-means,但要跑很多轮,超参也不好定。这篇工作把它改成带指数滑动平均的小批量更新,并给出衰减率和批量大小随聚类数、数据量变化的公式,直接代入即可,从而不用再做超参搜索。在多种 embedding 数据上,它用大约两轮到三轮就达到标准 Lloyd 算法跑 25 轮的损失,GPU 墙钟比现有实现快 10 到 45 倍。作为例子,它在百亿规模的 DINO embedding 上划出上千万个簇,只花了很少几轮,损失已经低于 Lloyd 长时间训练的结果。
04 4.20
把大模型推理量化到四位浮点能省成本和时间,但任务质量往往会掉。解码时矩阵比较窄,硬件常常还有余量。这篇工作在 FP4 激活之外再保留一份同样量化过的残差,用来表示量化丢掉的信息,并利用这些余量在片上把残差贡献算完、加回去,避免额外把结果搬来搬去。在 NVIDIA B200 上,相对不补偿的四位权重和四位激活,请求延迟最多增加 3.4%。在五个模型上,相对同格式不补偿推理,代码生成准确率平均相对提高 15.04%。
05 4.20
解码注意力每生成一个 token 都要流式读取 KV cache。把它压成低比特整数能减少访存,但不自动等于更低延迟,因为先给每个值做反量化再送进 Tensor Core,会把现代 GPU 上本就紧张的指令发射打满。这篇工作不给 cache 里的每个值单独做缩放和偏置,而是用仿射折叠把这些运算作用到矩阵乘的另一个操作数或输出上,从而在精确算术意义下保持反量化后的注意力结果。在 H100 上,INT2 和 INT4 内核相对 FlashInfer 的 BF16,几何平均分别加快 3.36 倍和 2.83 倍。
06 4.05
常有评测说 SGLang 比 vLLM 快很多,并把功劳归给它的前缀缓存设计。这篇论文发现,按默认配置做的对比里混进了另一个设置:长 prompt 要不要分块做 prefill。按默认配置跑多 agent 负载,vLLM 首 token 延迟的中位数最高是 SGLang 的 64 倍;只把分块 prefill 这一项对齐,两者能持续承受的吞吐之差,在差距最大的设置下就缩小了 78%,首 token 延迟的差距也随之明显缩小。对齐之后剩下的真实优势,是同等吞吐下 SGLang 的尾延迟更低,这和它按缓存情况给等待请求排序的做法相符。比较推理引擎时,要先把配置对齐,再谈缓存架构的高下。
07 4.00
在本地跑大型 MoE 模型时,显存装不下全部专家,只能边算边从内存搬。常见的补救是预取,趁链路空闲提前搬来下一层可能要用的专家。作者发现,显存里有专家缓存时预取反而可能有害。缓存里已有的必需专家越多,剩下的就越难猜准,猜错的专家白白占用带宽和显存。Bevy 不猜,而是靠调度。它同时处理多个请求。专家已经到位的请求先继续往后算,从而确定后面层真正要调用的专家,搬运和计算就此重叠。在两种本地平台上,它的解码吞吐最高是最快预取方案的 1.55 倍。本地部署 MoE 时,排好请求的先后可能比预测专家更有用。
08 4.00
QAT 是得到低比特大模型最可靠的办法,但用 AdamW 训练时,每个权重矩阵都要多存两份 FP32 的优化器状态,非常占显存。GaLore 这类低秩优化器只保留动量的主要方向来省显存,作者发现它们在 QAT 里明显变差:动量有相当一部分落在主要方向之外,每一步都被扔掉了,而这部分哪怕只留下正负号也仍然有用。ResQAdam 因此只存一份 BF16 动量,在主要方向上照常做 Adam 更新,其余部分只取正负号,再把剩余方向上只保留正负号的更新,按整体幅度缩放到和主方向上的 Adam 更新一样长,然后加到同一组参数上。它比 AdamW 省下七成多的优化器显存,多数设置下精度接近 AdamW,训练吞吐只降不到 2%。
09 4.10
上下文变长之后,跨请求复用不必绑定原序列位置的 KV cache,能加快首个 token 的生成,但通常要再算一部分 token,才能恢复不同块之间的交互。现有做法不太看复用后的 KV 相对完整重算结果偏了多少,选 token 要么开销大,要么伤质量。作者先在多种模型和数据上统计复用缓存相对完整重算会偏到哪些位置,再按这些规律优先重算每块缓存开头的若干 token,越靠后的块重算得越多,总预算随独立缓存块数量增减,并始终重算提示末尾近期上下文;做成生成缓存和重算可以分开、接入现有引擎负担较小的架构。在智能体编程场景里,它的通过率和完整重算接近,同时把 TTFT 加快了 2.1 倍;在若干长上下文检索问答数据上,加速最高达到 8.2 倍。
10 3.35
Meta
AI 程序经常在 CPU 代码和 GPU 内核之间来回切换,一个错误跨过这道边界时,开发者需要同时看清主机和设备两边的状态。过去 GPU 厂商各做各的调试器,比如 ROCgdb 和 CUDA-GDB,通用的调试功能要各自重复实现。Meta 在 LLDB 里做了一套不绑定厂商的加速器插件架构:把 CPU 和 GPU 当成两个独立的被调试进程,各自保留自己的指令集、寄存器和地址空间,再放进同一个调试会话里呈现。共享的调试功能只写一次,硬件相关的控制交给各厂商的插件,同一个地址在 CPU 和 GPU 上指向不同位置也不会混淆。写 GPU 内核和推理系统的工程师,有望用一个调试器跨两边定位问题。
11 3.90
推理模型靠写很长的思考过程提升效果,推理成本也随之上涨,低比特量化因此更重要,可量化得狠了,推理题的成绩往往掉得厉害。作者观察到,解码刚开始的几步里激活值波动特别大,而常规的校准数据没有覆盖这些早期状态。CodeQuant2 用旋转和缩放压住激活里的异常值,用聚类得到的查找表表示分布不均匀的权重,并专门挑选能覆盖解码刚开始那几步的校准样本。配上定制的 CUDA 内核,它明显提升了低比特推理模型在推理基准上的精度,速度最高是 BF16 的 2.85 倍。给推理模型做量化,校准数据要覆盖解码刚开始的那几步。
12 3.65
并行草稿模型一次前向就能草拟一整段 token,理论上能让投机解码加速很多,但它们官方发布的系统离这个上限还很远:单个请求时每步只接受少量 token,却要读一遍目标模型的全部权重;批处理时,每个请求的验证开销又把加速砍掉大约一半。SpecPilot 让一组 agent 针对具体部署自动找优化:成本模型先指出离上限最远的环节,多个 agent 并行尝试改系统实现或运行配置,每个输出 token 都和原系统逐一比对,防止为了提速改变结果。不训练、不损质量,单请求时相对自回归解码的加速从 4.46 倍提到 10.87 倍。投机解码的系统实现还有很大的空间。
13 3.55
把超大 MoE 模型的专家放在 SSD 上、内存只缓存最近用过的专家,就能在本地跑,但 SSD 读取仍然卡在关键路径上。按 token 动态决定每个专家用多少比特,本可以少读数据;可如果同一个专家的不同精度版本被当成互不相干的几份数据,缓存就无法复用,重叠的部分会被反复读取。PagedMoE 把精度看成同一份专家数据读到多深:低精度表示正好是高精度表示的前缀,缓存里已有低精度版本时,只需补读缺少的那几层比特。专家的每个权重平均只用 2.5 比特时,质量就接近常见的 4 比特量化;同样的动态请求下,吞吐是把各精度当独立数据时的 1.33 倍。
14 3.40
长上下文推理的首 token 延迟,大头花在 prefill 上:每次都要为长 prompt 重新算一遍 KV cache。Supermicro 联合 IBM 和 NVIDIA 推出一套方案,把算好的 KV cache 持久存到全闪存存储集群上,下次直接读回,不再重算。厂商在一个大模型上测得,13 万 token 的 prompt 首 token 延迟最多快了 56 倍;而且输入越长,存缓存的好处越明显。这些是厂商自己的测试,没有独立复现,但它说明对反复用到的长上下文,从存储里读缓存可能比重算划算得多。
15 3.40
在已经分开部署 prefill 和 decode 的推理服务里,再把 decode 拆成注意力和前馈网络两个资源池,值不值?这篇论文的答案是多数情况下不值,硬件安排能不能随时调整更要紧。硬件得在未来的模型和芯片出来前买定,作者用一个校准过的性能模型,在相同功耗预算下比较两种方案:再拆 decode 没有稳健的优势,它最大的领先其实来自多放下一个 prefill 副本。所以别把映射定死,也就是哪个环节放哪类芯片、每个池子放多少台。硬件或模型条件一变,定死的部署方案在同样功耗下完成的请求量上,中位数要比当时最好的方案少 36%;在同一批硬件上重新调整,差距能降到 9%。