2026-11-09 周一 · 系统与索引

今日场景今天基础设施赛道的主线,是在训练和推理里把算力和显存用得更省。强化学习后训练这边,FlexFloor 让生成完的 GPU 提前释放,EE-RL 按阶段给 GPU 降频省电,MoEResQ 说明 FP4 训练的修正要在训练和生成两侧对称。推理这边,SPARE 压缩线性注意力的循环状态,一项研究说明 KV cache 复用的修复预算该花在答案片段上,SafeStart 提醒减少 MoE 专家提速的同时要检查模型的拒绝率。向量索引建库、AMD 上的 FP8 注意力内核、按硬件剪枝和 FLUX 3 的 Blackwell 优化,则是各自环节的提速。 — 评分 201 篇,入选 10 篇,分数 3.80 – 4.30

本期目录 · 10 篇
  1. 01Turbocharging PiPNN for Proximity and k-NN Graph Building
  2. 02Energy-Efficient Reinforcement Learning for Large Language Models
  3. 03Resource-Efficient Reinforcement Learning Post-Training through Elastic Expert Parallelism
  4. 04AutoCompress: Automated Hardware-Guided Model Compression
  5. 05SafeStart: Mitigating the Overlooked Safety Cost of Active Expert Reduction in MoE LLM Serving
  6. 06Aligning Training and Rollout Policies for End-to-End FP4 RL on Mixture-of-Experts LLMs
  7. 07Where Should a KV-Cache Repair Budget Go? Distractor Structure and Contextual Compatibility in Non-Prefix Reuse
  8. 08ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4
  9. 09SPARE: Fast Linear Attention Decoding with Compact Recurrent States
  10. 10Speed Up Image Generation with FLUX 3 Image Klein on NVIDIA Blackwell GPUs
LEAD STORY · 今日必读

Turbocharging PiPNN for Proximity and k-NN Graph Building

向量检索常用的图索引(HNSW、Vamana 这类)查询快,但建起来很慢,大数据集要几小时甚至几天。PiPNN 的思路是先把向量分成小块,块内用矩阵乘法找近邻,再合成一张图,比逐点插入快得多。这篇论文继续压榨这条路线:把向量量化成低精度,减少内存搬运;再把矩阵乘法和取前 K 个近邻合成一次计算,不再把整张距离矩阵写回内存。结果是 CPU 版建索引比原版 PiPNN 最高快 8 倍,GPU 版比 CAGRA 最高快 50 倍,高召回下的查询性能不输对手。需要经常重建向量索引的团队,建库时间有望不再是瓶颈。

相关 5新颖 4实用 4证据 4时效 4
4.30
综合分 / 5
偏好调整 4.35
Tobias Rubel, Richard Wen, Guy Blelloch, Laxman Dhulipala, Lars Gottesbüren, Jakub Łącki 等 7 人 · 2026-11-03 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.00

Energy-Efficient Reinforcement Learning for Large Language Models

强化学习后训练很耗电,但 GPU 不必一直满频跑:生成回答时一次只出一个 token,常卡在显存带宽上,等其他卡的时间也在耗电,降频几乎不拖慢速度。NVIDIA 的这项工作做了一个在线控制器 EE-RL,给生成和训练分别选 GPU 频率。它先按同样的 token 工作量预测默认调度的表现作参照,再用几轮短试验挑选,只要吞吐不低于默认的 98%,就留下最省电的设置,之后随负载变化调整。在训练和生成分开部署的同步设置下,最多省 16.9% 的 GPU 能耗,吞吐只低 1.4%。不改算法,也能降电费。

Rahul Sharma, Nitin Vegesna, Yanxin Zhang
arXiv·2026-11-03·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
03 4.00

Resource-Efficient Reinforcement Learning Post-Training through Elastic Expert Parallelism

MoE 模型做强化学习后训练时,生成回答这一步常被最长的几条回答拖住:自己的回答已经写完的 GPU 也不能撤,因为专家分散在各张卡上,没写完的回答随时要用到这些卡上的专家。论文测到,基线里约三分之一的占用时间发生在本卡回答结束之后。FlexFloor 先用历史回答长度预测每条回答要写多久,把预计长度相近的提示词安排在一起,让它们差不多同时写完;写完的卡就从专家并行的小组里撤出,专家在留下的卡之间重新摆放,让它们合起来仍装得下全部专家,并留足 KV cache 空间。生成吞吐提高 52.74%,每单位占用的计算时间多生成约 65.40% 的 token,rollout 奖励基本不变。

Jia Wei, Ziyi Qiu, Yi Xu, Xuehai Qian
arXiv·2026-11-04·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
04 4.00

AutoCompress: Automated Hardware-Guided Model Compression

给大模型剪枝,常见做法是先定一个参数量目标,但参数量并不决定延迟、吞吐和显存。论文里两个参数量相同的模型,窄而深的那个在 RTX 5070 上延迟高 35%。AutoCompress 反过来,把部署硬件的限制直接放进结构搜索:用和推理引擎实测对得上的成本模型,同时调整整体结构和每一层的大小,得到各层宽度不一样的模型。在本地长上下文编码、数据中心批量服务、游戏内低延迟交互三类场景下,它在八个基准上的平均准确率,比 Minitron 剪枝在 RTX 5070 上高 6.57 个百分点,在 H100 上只高 0.57 个。给具体显卡剪模型时,按目标硬件搜结构,在小显卡上收益最大。

Sheldon Liang, Ali Taghibakhshi, Saurav Muralidharan, Sharath Turuvekere Sreenivas, Ashwath Aithal 等 7 人
arXiv·2026-11-05·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
05 4.00

SafeStart: Mitigating the Overlooked Safety Cost of Active Expert Reduction in MoE LLM Serving

MoE 模型为了推理更快,常让每个 token 只跑一部分专家,上线前一般只看准确率。这篇论文发现,这样做会削弱模型对有害请求的拒绝:在一个告诉模型不要拒绝的越狱提示下,保留约三分之二专家时,Qwen1.5-MoE 回答有害请求的比例上升 18.4 个百分点,而 MMLU 准确率几乎不变。增幅大多出现在模型读提示词和生成最开头几个 token 的时候。SafeStart 因此在提示词和最开头几个 token 上跑全部专家,之后才换成精简的专家集合,离线解码仍保住至少 85% 的提速,越狱下的变化也压回接近零。上线专家裁剪之前,要测拒绝率,不能只测准确率。

Erfan Baghaei Potraghloo, Saeid Shokoufa, Seyedarmin Azizi, Arya Fayyazi, Souvik Kundu, Mehdi Kamal 等 7 人
arXiv·2026-11-04·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
06 3.90

Aligning Training and Rollout Policies for End-to-End FP4 RL on Mixture-of-Experts LLMs

FP4 精度做强化学习后训练能省显存和算力,但精度掉得多。稠密模型上已有一种补救办法 RolloutResQ:激活量化成 FP4 会丢掉一部分精度,丢掉的部分叫残差,它把残差再单独量化一份,两份结果相加补回精度,但只在生成回答那一侧做。这篇论文发现它搬到 MoE 模型上不但没用,在四个数学基准里有三个比不做任何补救还差。原因在路由:专家是离散选出来的,只有生成一侧做了修正,同一个 token 在训练和生成两侧可能被送去不同专家,两边的策略就对不上。MoEResQ 让训练侧也做同样的修正。在 Qwen3-30B-A3B 上,AIME24 与 BF16 的准确率差距,从不补救的 24.27 个点缩小到 3.75 个点。

Hei Yi Mak, Hoang Le, Mehran Taghian Jazi, Yunke Peng, Huan Lin, Zhengzhi Tang, Zhexu Liu, Yao Wang 等 11 人
arXiv·2026-11-04·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 4
07 4.00

Where Should a KV-Cache Repair Budget Go? Distractor Structure and Contextual Compatibility in Non-Prefix Reuse

RAG 和对话记忆为了省 prefill,会把每个检索片段单独编码,再把各自的 KV cache 拼起来用。代价是每个片段看不到前面的片段,答案容易出错:论文在三个模型、四个数据集上测,原本完整 prefill 答得对的、依赖上下文的问题,复用后丢掉 19% 到 100%,周围有和答案片段相似的内容时丢得更多。修复预算很小时,去修这些干扰片段几乎没用,更值得把预算花在答案所在的片段上,让它对着已复用的缓存重算。实际中不知道哪段是答案,用问题的注意力去找最多只找对 18.8%,用检索器的第一名片段更可靠。

Yuxing Peng, Zhiqing Tang, Weijia Jia
arXiv·2026-11-04·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
08 4.00

ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4

FP8 的矩阵乘法吞吐是 BF16 的两倍,但注意力里两次矩阵乘法之间的 softmax 在向量单元上跑,FP8 帮不上忙,整体加速因此打折。在 AMD MI355X 上,官方的 AITER 内核处理长上下文时只跑到 FP8 矩阵峰值的 39%。ZYFA 重写了 prefill 内核。FP8 的位模式近似于数值以 2 为底的对数,所以把注意力分数乘一个系数、加一个偏移再取整,得到的整数直接当作 FP8 的位模式,就是近似的概率,不用再算指数。它还让一组线程算 softmax 的同时,另一组线程做矩阵乘法。在三个模型的真实输入上,吞吐是 AITER 的 1.16 到 1.76 倍,数值误差也更小。

Quentin Anthony, Ganesh Bikshandi, Praneeth Medepalli, Stephen Ebert
arXiv·2026-11-05·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
09 4.00

SPARE: Fast Linear Attention Decoding with Compact Recurrent States

线性注意力解码时不需要随长度增长的 KV cache,但每步都要读写一个固定大小的循环状态矩阵,搬运大量数据,高并发下成了显存带宽瓶颈。SPARE 利用的观察是:这些状态矩阵的有效秩往往远小于原始维度,各个注意力头还差别很大。它不用重新训练,先在少量校准数据上对每个头的 K 向量做主成分分析,取前几个方向作为固定的低维基,总维度预算则逐个分配,每次把下一个维度给状态矩阵里剩余奇异值贡献最大的头。之后直接在压缩后的状态上读写。K 向量投到低维后,向量长度的平方会变小,每次写入的强度随之变弱,所以写入时除以这个平方来补回(设有上限)。整个模型解码快 2.55 倍,峰值显存降到原来的三分之一左右(3.31 倍)。

Ke Wan, Zaiyi Zheng, Chen Chen
arXiv·2026-11-05·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
10 3.80

Speed Up Image Generation with FLUX 3 Image Klein on NVIDIA Blackwell GPUs

NVIDIA

在设计工具和图片编辑里部署扩散模型,延迟很敏感:一张图要经过模型多次串行计算,分辨率越高,注意力 越贵。NVIDIA 的技术博客以 FLUX 3 Image Klein 为例,演示在 TensorRT LLM VisualGen 里可以叠加的几类优化。单张 B200 上,只把 BF16 换成 NVFP4,文生图就快 1.62 倍;再叠加融合内核、缓存等优化,高分辨率下文生图最高快 3.46 倍,两者都是对比未编译的 BF16。博客还逐项给出了每种优化带来的图像差异,并附有可直接使用的 YAML 配置。

Olivia Stoner, Yiheng Zhang, Chang Liu, Seonghee Lee, Gunjan Mehta
技术博客·2026-11-06·Relevance 3 · Novelty 3 · Practical 5 · Evidence 4 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 6 个项目