02 4.40
用 NVIDIA 的 GDS 把数据从 SSD 直接读进 GPU 显存时，作者实测发现，异步读取 99.6% 的时间都卡在提交请求这一步。大模型推理服务会把算过的 KV cache 存到 SSD 上，下次遇到同样开头的请求就直接读回来，不用重算，这一步的速度直接影响首字延迟。uGDS 把指挥 SSD 干活这件事从操作系统内核搬到普通程序里来做。数据照样从 SSD 直达 GPU，变的是谁来下命令。uGDS 批量读的速度最高是 GDS 的 12 倍；接进开源缓存系统后，长提示的首字延迟中位数从 1.9 秒降到 0.7 秒。
03 4.30
大模型处理长文本时存在显存里的 KV cache 越来越大，压缩它的一个方向是把每个词存的向量变短，但已有方法大多只省了存储：存的时候是短向量，真到计算时又得先还原成原来的长度，计算量反而暴涨。RACE 找到了一种不用还原的变短办法：位置编码把向量里每两个相邻的数组成一对一起旋转，只要整对保留，短向量照样能直接旋转；保留哪些对，按一小批文本上查询和键在这一对上的数值平方和挑最大的，再把这个选择直接写进模型权重。在 Llama-3.2-3B 上，向量缩短一半、输入 25.6 万个 token 时，整体吞吐提高到 1.79 倍，首字延迟降 43.2%。
04 4.30
智能体和搜索、网页、代码执行等工具来回几百轮时，每一轮模型都要把之前所有内容的 KV cache 重新读一遍，读这些旧缓存占了总调用费用的 82.4%。常见的省钱办法是删掉或摘要旧消息，但只要改动了前面的文字，后面所有缓存都作废，得从改动处重新算一遍。作者换个层面来做：文字记录一个字不动，只在缓存里把选中的部分丢掉，留下的部分原样接着用。一个简单的策略只保留最近 12 次工具返回的缓存，和常用的到长度上限就摘要相比，在四个智能体测试上平均通过率高 1.7 个百分点，平均费用低 27.7%。
05 4.30
长上下文解码时，每生成一个 token 都要把整个 KV cache 从 HBM 读一遍，所以上下文越长，注意力越慢。稀疏注意力只读其中一小部分 token，但压到 50 倍稀疏时，现有方法和稠密注意力差得很远。SSA 的思路是分数高的 token 一定保留，剩下的长尾按代理分数抽样，抽中的 token 再按被抽中的概率放大权重。代理分数是用压缩过的键快速估出的注意力分数，经 softmax 换成概率。所有概率乘上同一个倍数，乘完达到一的 token 直接保留，倍数要让保留的个数加上其余 token 乘完的概率之和正好等于预算。剩下的额度按概率有放回地抽，重复抽中的只算一次，权重除以它至少被抽中一次的概率。同样稀疏度下，Qwen3.5-9B 做 AIME 2025，SSA 得 59.8，PQCache 只有 36.7。
06 4.10
NVIDIA用 TensorRT 编译模型时，算子怎么合并、哪几处做量化，最好的选法取决于模型、张量形状和 GPU，单看某一步优化有效，说明不了整个模型会更快。比如可以把几个互不依赖、并排的算子合成一个 GPU 内核，也可以把前后相连的算子合成一个。英伟达的做法是把这些选项变成可以组合的开关，逐个编出引擎实测，排除精度不达标的，留下最快的。在十个工作负载上，这样调出的引擎比默认编译快 1.14 到 1.63 倍，说明默认编译往往还有不少提速空间。
07 4.05
文本向量模型压到 4 位后再做校准，结果可能变好，也可能直接毁掉模型。在 EmbeddingGemma 上，只改学习率一项，排序指标 NDCG@10 就从提高 1.47 个点变成暴跌 71.53 个点。崩不崩，主要看校准把模型从原来的状态推开了多远。作者的规则是每次校准都先在留出的查询上检验，统计上确实更好才用。在实验里这条规则从没选中过有害的结果，代价是错过了少数有益的更新。
08 4.15
把注意力缓存放到 SSD 上，除了命中率，还得算写入量，因为 SSD 写多了会坏。按访问记录决定写不写会损失命中率，作者改按缓存来自哪种注意力层来定：线性注意力的状态很快就用完，留在内存里；完整注意力的缓存后面会被反复用到，才写进 SSD。回放一段 Claude Code 的使用记录，写入量从 153TB 降到 92TB，命中率几乎不变；在所有测试记录上，SSD 预计寿命平均延长到 7.3 倍。
09 4.15
召回率要接近 100% 时，倒排索引要多搜很多列表、逐个读全精度向量；先用一个保证不会估大的距离下界排除大多数向量，只读剩下的少数，就能在结果完全不变的前提下快很多。每个向量事先投影到数据集方差最大的若干个方向上，再补一维记下投影丢掉部分的长度，这些短坐标上的距离一定不超过真实距离。上限取自所搜列表里每隔固定间隔存的一批锚点向量：它们本身就是候选，查询到它们的真实距离里第 k 小的，一定不小于真正第 k 近邻的距离。下界已超过上限的向量不读也能排除，剩下的按下界从小到大读原向量核对。召回率相同时，它比 IVF-Flat 快 9.7 到 117 倍。
10 4.00
NVIDIA
英伟达 TensorRT 全局调优器系列的上篇，只讲思路：编译时不再走一条固定路线，而是试多种编译配置，逐个实测整个引擎，选精度达标里最快的。文中没有实测数据，加速效果见下篇。
Amazon