02 4.00
强化学习后训练很耗电,但 GPU 不必一直满频跑:生成回答时一次只出一个 token,常卡在显存带宽上,等其他卡的时间也在耗电,降频几乎不拖慢速度。NVIDIA 的这项工作做了一个在线控制器 EE-RL,给生成和训练分别选 GPU 频率。它先按同样的 token 工作量预测默认调度的表现作参照,再用几轮短试验挑选,只要吞吐不低于默认的 98%,就留下最省电的设置,之后随负载变化调整。在训练和生成分开部署的同步设置下,最多省 16.9% 的 GPU 能耗,吞吐只低 1.4%。不改算法,也能降电费。
03 4.00
MoE 模型做强化学习后训练时,生成回答这一步常被最长的几条回答拖住:自己的回答已经写完的 GPU 也不能撤,因为专家分散在各张卡上,没写完的回答随时要用到这些卡上的专家。论文测到,基线里约三分之一的占用时间发生在本卡回答结束之后。FlexFloor 先用历史回答长度预测每条回答要写多久,把预计长度相近的提示词安排在一起,让它们差不多同时写完;写完的卡就从专家并行的小组里撤出,专家在留下的卡之间重新摆放,让它们合起来仍装得下全部专家,并留足 KV cache 空间。生成吞吐提高 52.74%,每单位占用的计算时间多生成约 65.40% 的 token,rollout 奖励基本不变。
04 4.00
给大模型剪枝,常见做法是先定一个参数量目标,但参数量并不决定延迟、吞吐和显存。论文里两个参数量相同的模型,窄而深的那个在 RTX 5070 上延迟高 35%。AutoCompress 反过来,把部署硬件的限制直接放进结构搜索:用和推理引擎实测对得上的成本模型,同时调整整体结构和每一层的大小,得到各层宽度不一样的模型。在本地长上下文编码、数据中心批量服务、游戏内低延迟交互三类场景下,它在八个基准上的平均准确率,比 Minitron 剪枝在 RTX 5070 上高 6.57 个百分点,在 H100 上只高 0.57 个。给具体显卡剪模型时,按目标硬件搜结构,在小显卡上收益最大。
05 4.00
MoE 模型为了推理更快,常让每个 token 只跑一部分专家,上线前一般只看准确率。这篇论文发现,这样做会削弱模型对有害请求的拒绝:在一个告诉模型不要拒绝的越狱提示下,保留约三分之二专家时,Qwen1.5-MoE 回答有害请求的比例上升 18.4 个百分点,而 MMLU 准确率几乎不变。增幅大多出现在模型读提示词和生成最开头几个 token 的时候。SafeStart 因此在提示词和最开头几个 token 上跑全部专家,之后才换成精简的专家集合,离线解码仍保住至少 85% 的提速,越狱下的变化也压回接近零。上线专家裁剪之前,要测拒绝率,不能只测准确率。
06 3.90
FP4 精度做强化学习后训练能省显存和算力,但精度掉得多。稠密模型上已有一种补救办法 RolloutResQ:激活量化成 FP4 会丢掉一部分精度,丢掉的部分叫残差,它把残差再单独量化一份,两份结果相加补回精度,但只在生成回答那一侧做。这篇论文发现它搬到 MoE 模型上不但没用,在四个数学基准里有三个比不做任何补救还差。原因在路由:专家是离散选出来的,只有生成一侧做了修正,同一个 token 在训练和生成两侧可能被送去不同专家,两边的策略就对不上。MoEResQ 让训练侧也做同样的修正。在 Qwen3-30B-A3B 上,AIME24 与 BF16 的准确率差距,从不补救的 24.27 个点缩小到 3.75 个点。
07 4.00
RAG 和对话记忆为了省 prefill,会把每个检索片段单独编码,再把各自的 KV cache 拼起来用。代价是每个片段看不到前面的片段,答案容易出错:论文在三个模型、四个数据集上测,原本完整 prefill 答得对的、依赖上下文的问题,复用后丢掉 19% 到 100%,周围有和答案片段相似的内容时丢得更多。修复预算很小时,去修这些干扰片段几乎没用,更值得把预算花在答案所在的片段上,让它对着已复用的缓存重算。实际中不知道哪段是答案,用问题的注意力去找最多只找对 18.8%,用检索器的第一名片段更可靠。
08 4.00
FP8 的矩阵乘法吞吐是 BF16 的两倍,但注意力里两次矩阵乘法之间的 softmax 在向量单元上跑,FP8 帮不上忙,整体加速因此打折。在 AMD MI355X 上,官方的 AITER 内核处理长上下文时只跑到 FP8 矩阵峰值的 39%。ZYFA 重写了 prefill 内核。FP8 的位模式近似于数值以 2 为底的对数,所以把注意力分数乘一个系数、加一个偏移再取整,得到的整数直接当作 FP8 的位模式,就是近似的概率,不用再算指数。它还让一组线程算 softmax 的同时,另一组线程做矩阵乘法。在三个模型的真实输入上,吞吐是 AITER 的 1.16 到 1.76 倍,数值误差也更小。
09 4.00
线性注意力解码时不需要随长度增长的 KV cache,但每步都要读写一个固定大小的循环状态矩阵,搬运大量数据,高并发下成了显存带宽瓶颈。SPARE 利用的观察是:这些状态矩阵的有效秩往往远小于原始维度,各个注意力头还差别很大。它不用重新训练,先在少量校准数据上对每个头的 K 向量做主成分分析,取前几个方向作为固定的低维基,总维度预算则逐个分配,每次把下一个维度给状态矩阵里剩余奇异值贡献最大的头。之后直接在压缩后的状态上读写。K 向量投到低维后,向量长度的平方会变小,每次写入的强度随之变弱,所以写入时除以这个平方来补回(设有上限)。整个模型解码快 2.55 倍,峰值显存降到原来的三分之一左右(3.31 倍)。