2026-11-06 周五 · 系统与索引

今日场景显存省下来,不等于推理就变快。GAAC 要把解压放进注意力读取,FlashOffloading 要让搬运跟计算交叠;FastAFD 则提醒我们,把专家卡也算进去,拆分后的吞吐优势可能很小。这期看优化,先问省下的容量怎样变成整步收益,再看对照是否把额外资源算全。 — 评分 208 篇,入选 10 篇,分数 3.90 – 4.40

本期目录 · 10 篇
  1. 01GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices
  2. 02LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
  3. 03StrataFlux: Memory-Hierarchy-Native Low-Bit LLM Inference
  4. 04BlockLock: Reproducible LLM Inference with Fixed Batch Geometry
  5. 05FastAFD: When Does Attention-FFN Disaggregation Pay on Rack-Scale NVLink?
  6. 06KOSMOS: Self-scheduling Persistent Kernels for Communication-Compute Overlap
  7. 07flash-comm: Self-Synchronizing Collective Communication for LLM Decoding
  8. 08FlashOffloading: Low-Latency KV Cache Offloading for Long-Context LLM Serving
  9. 09Recast: Refinement-Centered Approximate Nearest Neighbor Search Optimized for Storage
  10. 10Configure, Certify, and Operate Kubernetes GPU Clusters with NVIDIA DSX OS
LEAD STORY · 今日必读

GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices

KV 压缩省下内存,却未必加速解码:先整份解压,仍要搬运原来那么多数据。GAAC 保留 BF16 的符号和尾数,把指数减去预先选好的基准,只存差值;按注意力读取顺序,每八个 KV 元素成组;差值装不下,就让整组用更宽的差值编码,必要时存原始指数。用时加回基准,KV 逐位还原。注意力计算读一小块就解一小块,不先展开完整缓存。DGX Spark 实验中,KV 常驻内存减少约26%,同批量整步解码速度达到基线的1.04–1.15倍。收益取决于 KV 读取是否已成为瓶颈。

相关 5新颖 4实用 4证据 4时效 5
4.40
综合分 / 5
偏好调整 4.40
Yipin Guo, Arun M George, Siddharth Joshi · 2026-11-04 · arXiv

今日其余入选

9 篇 · 按综合排名
02 4.40

LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time

KV 不必两份都完整存:同一注意力头里,V 的不少信息可从 K 预测。LowRAM 为当前上下文的每个头训练小网络,用 K 重建 V,只给误差最大的 token 另存修正量;K 则用跨层低秩分解压缩。Mistral 的 LongBench 测试中,KV 存储压到原来的四分之一,保留97.9%的基线分数。这是以拟合开销换存储,是否划算还取决于长上下文会被复用多少次。

Teresa Delgado, Hugo Hazard, Martin Benfeghoul, Jun Wang, Zafeirios Fountas
arXiv·2026-11-04·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
03 4.40

StrataFlux: Memory-Hierarchy-Native Low-Bit LLM Inference

低比特量化省显存,却会损失精度。StrataFlux 用校准数据拟合补偿矩阵,目标是补回投影的量化误差。先把较早层的状态向量归一化,按分量绝对值从大到小挑编号,预取补偿矩阵同编号的列。每列乘当前输入同编号的分量,乘积相加后补到低比特投影。RTX 5090 的 Llama-3.1-8B-Instruct 在 YAQA 两比特量化实验中,WikiText-2 困惑度从9.46降至8.40,空上下文解码保留95.4%的原量化吞吐。这是小幅牺牲速度换回部分精度,不是无损恢复。

Jake Hyun, Ziyu Zhao, Jae-sun Seo, Mohamed S. Abdelfattah
arXiv·2026-11-05·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 4.40

BlockLock: Reproducible LLM Inference with Fixed Batch Geometry

同一条提示,换掉同批其他请求,也可能改变贪心解码的答案。BlockLock-Rows 固定批量大小和行宽,让目标请求保持同一行与位置,其他请求仍一起 prefill 和解码。单卡实验比较同一提示搭配不同请求的两次输出,普通填充批处理的完全一致率为52.59%,该方案为100%。前提是底层算子在固定形状下本身能重复得到相同结果。它用调度和填充换复现性,不保证换批量大小或换 GPU 后仍相同;提示长度差太多时,填充也会变贵。

Xiuyuan Qi, Pedro Reviriego, Javier Conde, Shanshan Liu
arXiv·2026-11-04·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.40

FastAFD: When Does Attention-FFN Disaggregation Pay on Rack-Scale NVLink?

把专家拆到另一组 GPU,注意力卡能装更多 KV,也能让一批的专家计算与另一批的注意力交叠。但专家卡同样要算成本。FastAFD 在 GB200 NVL72 上重算这笔账:对照是按负载调优专家并行宽度的 vLLM,将专家卡也计入每卡吞吐后,普通解码仅达到对照的0.99–1.17倍。拆分是否划算,要看多装请求与交叠计算的收益,能否抵掉专家池占用的 GPU;不能拿没调好的小规模并行作对照,就宣布拆分普遍更快。

Yichao Fu, Yuxuan Zhang, Minshen Zhang, Ruitian Wang, Junda Chen, Hao Zhang
arXiv·2026-11-04·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
06 4.40

KOSMOS: Self-scheduling Persistent Kernels for Communication-Compute Overlap

多卡训练里,预先分好哪些计算单元搬数据、哪些做矩阵乘,容易让一边忙、一边等。KOSMOS 把两类工作放进同一常驻核函数,工作组依队列和数据就绪标记协作;搬完数据的组可转去计算,专家输出回传时还能来回换工。AMD 单机实验的 MoE 代理训练吞吐达到 DeepEP 对照的1.29–1.83倍。它改变的是通信与计算在执行中如何分工,目前依赖机内互连,不能直接外推多机收益。

Alexander Magro, Aristotle Martin, Ye Wang, Wen Chen
arXiv·2026-11-05·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
07 4.40

flash-comm: Self-Synchronizing Collective Communication for LLM Decoding

多卡解码中,等待所有 GPU 确认就绪的同步,可能比小包传输本身还贵。Flash-Comm 主要路径先在接收区放标记值,数据写入后覆盖标记;接收方看到所需块已写好,就继续处理,不先等全组同步。各卡独立求和时仍按固定 GPU 顺序累加,避免算出不同结果。八卡 B300 的 DeepSeek 解码测试中,TPOT 下降1.7–6.8%。它优化通信,不改其余模型计算;微基准里的降幅不能等比例当成整步加速。

Carrie Wang, Jack Li, Jason Zhao
arXiv·2026-11-04·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
08 4.35

FlashOffloading: Low-Latency KV Cache Offloading for Long-Context LLM Serving

把 KV 放进主机内存,能多装请求,却可能被来回搬运拖慢。FlashOffloading 在 prefill 把历史 KV 从主机内存按层搬回设备,在解码时只取模型稀疏索引选中的 KV;选 token 时同时拿到缓存位置,再让搬运与计算交叠。昇腾平台的 GLM 测试中,128K 输入下放大运行批量,输出吞吐达到对照的1.91倍,平均 TPOT 为26毫秒。收益来自容量换并发和压低搬运开销,不代表单请求更快;解码路径也依赖模型原生稀疏选择。

Xuan Wang, Zhuanhao Wu, Tingzhu Fang, Xushi Li, Sicheng Zhang, Zhenyu Yang, Feng Liu, Zhaohui Fan 等 20 人
arXiv·2026-11-05·Relevance 4 · Novelty 4 · Practical 5 · Evidence 4 · Timely 5
09 4.30

Recast: Refinement-Centered Approximate Nearest Neighbor Search Optimized for Storage

向量放到 SSD 后,精排读回多少原始向量,会直接影响检索吞吐。Recast 把倒排索引和量化码留在内存,先估距离及误差范围,只把仍可能进入前列的候选读回精算,而不是每个查询固定读同样多候选。静态实验在给定内存预算、召回率0.99时,查询吞吐达到最强对照的1.56–2.01倍。它把读盘预算随查询难度调整,但区间筛选补不回倒排列表阶段漏掉的近邻。

Zehai Yang, Fengyi Tao, Wenzhuo Dong, Shimin Chen
arXiv·2026-11-02·Relevance 5 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4
10 3.90

Configure, Certify, and Operate Kubernetes GPU Clusters with NVIDIA DSX OS

NVIDIA

节点健康检查全绿,分布式训练仍可能被一张慢卡拖住。NVIDIA DSX OS 把版本配置、负载认证和修复后的再验证接起来。NVCRE 跑训练和 NCCL 测试,但默认不设性能阈值,测试能启动不代表带宽达标;示例的300 GB/s 是配置门槛,不是实测提速。启用生命周期管理后,NVSentinel 协调验证,修复节点通过测试才解除调度隔离。重点是先定验收标准,再把修复后重验接进恢复流程。

Sowmyan Soman, Kai Wombacher
技术博客·2026-11-05·Relevance 4 · Novelty 3 · Practical 5 · Evidence 2 · Timely 5

其他赛道今日

点击切换

开源雷达

GitHub / HuggingFace 热门 · 5 个项目