- 1. ATTUNE: Agentic Throughput Tuning for LLM Training · 📖 深度解读
同一个大模型换一种 GPU 或换一个框架版本，原来最快的训练配方往往不再最快，配方要定的是模型怎么拆到多张 GPU 上、用哪些底层计算程序、GPU 之间的数据传输怎么和计算同时进行。ATTUNE 让一个能写代码、跑命令的智能体来调配方，给它一份能跑通的配方和一笔 GPU 小时预算，它自己反复试、自己分析瓶颈。但这篇论文真正的看点在智能体之外，一道由固定代码执行、智能体改不了的正确性闸门：模型、数据、每步处理多少条、数值精度都锁定不变…
出现于日报：10-25
- 2. RemoteANN: A Native Vector Search Engine for Cloud Object Storage
对象存储上的向量检索容易被网络请求拖慢，论文把索引布局和读取策略一起设计。系统用倒排分组和向量量化缩小读取范围，再合并请求并利用本地缓存。在目标召回率相同的测试中，作者报告吞吐最高提升至基线的5.9倍。
出现于日报：10-21
- 3. uGDS: A User-Space Development Kit for High-Performance GPU Direct Storage · 📖 深度解读
用 NVIDIA 的 GDS 把数据从 SSD 直接读进 GPU 显存时，作者实测发现，异步读取 99.6% 的时间都卡在提交请求这一步。大模型推理服务会把算过的 KV cache 存到 SSD 上，下次遇到同样开头的请求就直接读回来，不用重算，这一步的速度直接影响首字延迟。uGDS 把指挥 SSD 干活这件事从操作系统内核搬到普通程序里来做。数据照样从 SSD 直达 GPU，变的是谁来下命令…
出现于日报：10-25
- 4. TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning
长文本里并非每个词都需要经过模型的所有层，论文让模型学会逐层跳过不重要的词。新增的轻量组件用词的重要程度调整注意力，使保留哪些词也能参与训练。作者在所测任务中报告，首字响应速度最高提升至原来的11.3倍，准确率未下降。
出现于日报：10-21
- 5. E8-QAT: Efficient 2-Bit Quantization-Aware Training with Implicit Lattice Codebooks
模型压到极低位宽后容易掉精度，这项工作用成组权重共同编码来减少误差。它用规则化的格点代替显式码本搜索，让训练时的量化计算更直接。在各自最大可用批量下，解码吞吐达到半精度基线的 1.97 倍。
出现于日报：10-22
- 6. Large Flow Language Models
语言模型逐词输出限制了生成速度，作者把现成模型改造成能并行生成一块文本的形式。块内用连续流逐步修正预测，再由同一个模型按逐词方式验证草稿。在相近质量下，吞吐达到逐词生成模型的 2.54 倍。
出现于日报：10-22
- 7. Is 2:4 Sparsity Still Worth It? Semi-Structured Sparsity versus Quantization in LLM Inference · 📖 深度解读
独立研究者在 Llama-3.1-8B-Instruct 和 Qwen3-8B 上，按相同存储位数（稀疏位置索引也计入）和相同标称算力档位，比较"加 2:4 稀疏"和"降一档精度"，并在 L40S、H100、RTX PRO 6000 上实测。只要还能降精度，加 2:4 就既更不准也更慢：2:4 + INT8 的存储成本等于 INT5。到 FP8 底线后…
出现于日报：10-23
- 8. Cache Engineering for Agents · 📖 深度解读
智能体和搜索、网页、代码执行等工具来回几百轮时，每一轮模型都要把之前所有内容的 KV cache 重新读一遍，读这些旧缓存占了总调用费用的 82.4%。常见的省钱办法是删掉或摘要旧消息，但只要改动了前面的文字，后面所有缓存都作废，得从改动处重新算一遍。作者换个层面来做：文字记录一个字不动，只在缓存里把选中的部分丢掉，留下的部分原样接着用。一个简单的策略只保留最近 12 次工具返回的缓存，和常用的到长度上限就摘要相比…
出现于日报：10-25
- 9. RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies · 📖 深度解读
大模型处理长文本时存在显存里的 KV cache 越来越大，压缩它的一个方向是把每个词存的向量变短，但已有方法大多只省了存储：存的时候是短向量，真到计算时又得先还原成原来的长度，计算量反而暴涨。RACE 找到了一种不用还原的变短办法：位置编码把向量里每两个相邻的数组成一对一起旋转，只要整对保留，短向量照样能直接旋转；保留哪些对，按一小批文本上查询和键在这一对上的数值平方和挑最大的，再把这个选择直接写进模型权重…
出现于日报：10-25
- 10. Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity · 📖 深度解读
长上下文解码时，每生成一个 token 都要把整个 KV cache 从 HBM 读一遍，所以上下文越长，注意力越慢。稀疏注意力只读其中一小部分 token，但压到 50 倍稀疏时，现有方法和稠密注意力差得很远。SSA 的思路是分数高的 token 一定保留，剩下的长尾按代理分数抽样，抽中的 token 再按被抽中的概率放大权重。代理分数是用压缩过的键快速估出的注意力分数，经 softmax 换成概率…
出现于日报：10-25