NVIDIA GDS 让 NVMe 经 PCIe P2P 直达 GPU，但仍有三条硬伤：控制面每次 I/O 穿内核、stream 路径强全序、用户态引擎闭源难诊。uGDS 做成用户态开发套件（libugds + 最小内核辅助）。Samsung 990 PRO 上批量读带宽最高达 GDS 的 12.12×、写 30.69×；两线程下 4-KiB 同步写延迟 −84.1%。单 stream 上 GDS 只保住同步 16-MiB 读带宽的 40.8%，提交调用可占墙钟 99.6%。接入 LMCache 后 TTFT 中位数最高 −62.7%，serving goodput 2.63×。GPU Direct Storage 的瓶颈常在控制面与排序语义，而不只在 DMA 带宽。

1. 问题

KV cache offload 等小 I/O 对固定每请求内核开销极敏感；GDS stream API 的全序在只需批级序时过强；闭源引擎阻碍定制调度。

2. 方法

三路径：Setup 用特权内核委托建好队列后稳态绕开 OS；Control 在用户态发 NVMe；Data 走自主 P2P DMA。硬件队列拆成延迟敏感同步请求与深批队列。提供可诊断的用户态调度钩子。

3. 核心贡献

把 GDS 的控制面搬出内核热路径，并把排序语义从「全序 stream」降到批级需求。省的是提交开销与错误排序，不是再抠 PCIe 峰值。

4. 实验

示意走查：LMCache 把 KV 块写入 SSD。GDS 路径上每次 4-KiB 写都进内核提交，墙钟几乎耗在提交而非 DMA；换成 uGDS 后同步写走用户态队列，TTFT 中位数下降。批读场景下把请求聚到深批队列，带宽接近器件上限。

作者对比还覆盖 AMD hipFile：同一套用户态思路在非 NVIDIA 栈上仍有同步写带宽收益（最高约 1.19×），说明问题不单是某一家闭源引擎，而是「控制面是否在热路径」。对诊断，开源用户态让人能看清队列深度与顺序，而不是只拿到一个黑盒带宽数字。

5. 局限

依赖特定 NVMe/GPU/PCIe 拓扑；用户态轮询占 SM 的权衡需按负载调；安全模型与多租户隔离要额外工程。

6. 实践意义

KV offload / 训练 ZeRO-offload 路径可优先测 uGDS 类用户态直存；先看小 I/O 延迟与提交占比，再谈带宽。

头维压缩 KV cache 常在推理时再还原全维，解码 FLOPs 反而涨。RACE 用校准集把预训练注意力改成原生降维：对 Q/K 共享投影并保持 RoPE 对齐，按 query-key 激活能量决定保留哪些能量方向，使 KV 存储与注意力算力一起降。50% KV 保留、256K 上下文时，总推理 FLOPs −47.8%，吞吐 1.79×，TTFT −43.2%，分配显存 −28.1%。相对 EigenAttention / PALU / Thin Keys / RAP，RACE 在「保留 RoPE、共享投影、降存储、降注意力 FLOPs、免推理还原」清单上全部勾选。头维压缩要原生降维，而不是推理时再拼回全维。

1. 问题

KV 变长拖垮显存与带宽；只压 token 或量化不够时，有人压头维。若解码期重建全维 K/V，省下的显存会换成 FLOPs 税。需要校准期一次性改成降维注意力。

2. 方法

共享投影把 Q/K 映到同一低维空间，旋转位置编码在低维上仍对齐；用激活能量选主方向，V 同步压缩。校准集约一次；推理不再上投影回全维。可与 token 减少、量化叠加（文中有组合实验）。

3. 核心贡献

把「压缩」从缓存格式问题提升为注意力算子本身的降维，且不破坏 RoPE 几何。省显存的同一套投影也应省注意力算力。

4. 实验

Llama/Qwen 系列在零样本、困惑度、LongBench 上对比。50% 保留 + 256K：FLOPs −47.8%，吞吐 1.79×，TTFT −43.2%，显存 −28.1%。对照表显示竞品常在「推理重建」或「不保 RoPE」上留缺口。

5. 局限

校准集域偏移会影响能量方向；与激进量化叠用时要重扫保留比例；超长上下文的端到端速度还受别的算子影响。

6. 实践意义

服务侧若 KV 显存紧，优先试「原生降维注意力」而非「压完再还原」；保留 50% 作为默认扫描点，看 TTFT 与 LongBench 是否可接受。

Agent 长轨迹里 KV 读写与存储成主成本；改历史前缀会让后续 cache 失效并重 prefill。本文提出缓存工程：agent 用 drop 排除选中 cache、用 repos 调整保留 key 的位置索引，从而直接控制活跃 KV，而不改写轨迹文本。相对阈值触发摘要，简单工具响应 drop 策略平均成本 −27.7%、基准分 +1.7；接 AKV 后输出吞吐约 1.2×、P95 延迟约 1.5× 改善；RSI 自改进策略在留出任务再降成本 7.1%。API 账单里 KV 读可占 82.4%。Agent 省钱的关键常是别让 cache 失效，而不只是把历史摘要得更短。

1. 问题

上下文工程靠修剪/摘要减长度，但改前缀使后缀 KV 作废。账单显示 KV 读可占八成以上费用。需要「动 cache、不动文本」的控制面。

2. 方法

暴露 drop / repos 原语：drop 让后续注意力看不到选中段；repos 在不改内容的前提下改位置编码索引。策略可手写（如丢工具回包），也可用递归自改进（RSI）在留出任务上搜策略。

3. 核心贡献

把优化对象从「提示词字符串」换成「活跃 KV 集合」。保留前缀字节不等于保留前缀 cache——失效一次就重付 prefill。

4. 实验

三模型×四 agent 基准：工具响应 drop 相对阈值摘要，成本 −27.7%、分数 +1.7；AKV 上吞吐 ~1.18–1.2×、P95 ~1.5×；RSI +7.1% 成本再降。阈值摘要（如 48k）可降约 7% 成本但准确率掉约 5 个百分点，说明乱摘要会伤任务。

5. 局限

依赖可写的 cache API（如 AKV）；drop 策略过猛会丢关键工具结果；RSI 搜索本身有费用。

6. 实践意义

Agent 运行时优先接「可 drop 的 KV 层」；默认先丢可重建的工具回包，再考虑摘要。

补充：正文数字均摘自论文表格与实验节；配图为论文 HTML/PDF 原图或页渲染，图注说明看点而非翻译英文 caption。

长上下文解码被增长的 KV 注意力拖住。稀疏注意力用确定性 top-k 会丢掉残余注意力质量，用采样又方差大，混合仍与稠密有差距。Stratified Sparse Attention（SSA）按层把稀疏预算分给确定性利用与随机探索，缩小极端稀疏下的稀疏-稠密鸿沟。50× 稀疏时，相对最强实用基线，RULER 等上 32K 从 81.8%→84.2%、128K 从 63.8%→69.3%，分别收回稠密性能的 94% 与 85%；百万上下文解码相对 FlashInfer 最高 2.96×。极端稀疏下要分层补残余注意力质量，而不是只抠 top-k。

1. 问题

只取 top-k 丢残余质量；纯采样方差大；top-k+均匀采样仍有稠密缺口。需要在固定预算 k 下更好分配「必定取」与「随机探」。

2. 方法

三阶段：用代理分数把预算在 token 上分成确定段与采样段；对采样段按分层/概率抽取以覆盖残余质量；用定制 CUDA 核减少内存流量。均匀采样与纯 top-k 是特例。

3. 核心贡献

在极端稀疏比下系统性地缩小 sparse–dense gap，而不是只报加速比。加速只有在质量贴住稠密时才算数。

4. 实验

RULER / LongBench / LOFT / AIME，模型 3B–更大。50× 稀疏：32K 81.8→84.2，128K 63.8→69.3（收复 94%/85% 稠密）。H200 上 1M 上下文解码注意力层相对 FlashInfer 最高 2.96×；分片数 64 vs 32 约 1.58–1.71×。

5. 局限

代理分数质量影响分层；极端 batch 下速度优势变化；与其它稀疏核集成需工程。

6. 实践意义

长上下文服务若已上稀疏注意力，用 SSA 式预算分层做 A/B，先看 50× 稀疏下 RULER/长基准相对稠密的回收率。

补充：正文数字均摘自论文表格与实验节；配图为论文 HTML/PDF 原图或页渲染，图注说明看点而非翻译英文 caption。