- 1. Where Post-Training Quantization Breaks Text Embedders: A Measured Map Across Four Embedder Families
论文检验 embedding 模型能否直接沿用大语言模型的权重量化经验，覆盖四类架构的五个检查点，并分别保护 embedding、注意力和前馈模块。INT2 下相近重建误差对应的质量保留率竟为 1.3%—65.9%；面向特定任务蒸馏的 109M 学生经 INT3 量化后，以 68.4 MB 达到 78.04 NDCG@10，优于其教师的极低比特方案。
出现于日报：09-17
- 2. REVA: Reusable Evidence View Aggregation for Context-Efficient RAG Serving
REVA 针对 RAG 压缩器逐查询运行的额外成本，从历史查询与文档交互中提取生成模型的注意力，汇总为按文档索引的词级重要性分数，再按预算生成保序证据视图。在四个基准上，生成质量较已有方法提高 1.0–5.8 分，压缩开销降低 5.3–15.6 倍，新增延迟小于 40 毫秒。
出现于日报：09-14
- 3. BOA: Beamwidth Online Adaptation for Filtered-ANNS on a GPU
BOA 面向带属性过滤的 GPU 向量检索，先用窄束搜索整批查询，再仅扩大不确定查询的搜索宽度。对 10,000 个查询，平均束宽 22–77 即达到 94.05%–99.96% 召回率，对照需固定束宽 500；论文报告吞吐提升 7–12.5 倍。
出现于日报：09-18
- 4. Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs
py-kvcache 研究 vLLM 跨 GPU、CPU 与 NVMe 的 KV 缓存取舍，以异步直接 I/O、有界暂存区和调度感知预加载减少搬运等待。80k token 场景下磁盘加载比 LMCache 快 2.0 倍；三级缓存整体快 1.23 倍，但在 H100 的百炼流量回放中，平均请求低于外部缓存的盈亏平衡点。
出现于日报：09-14
- 5. Following the Bottleneck: Optimizing MiniMax M3 on AMD Instinct MI355X
团队围绕 MiniMax M3 在 MI355X 上的实际瓶颈，改进局部矩阵形状调优、共享专家融合、稀疏分页及推理正确性。在相同 TP4/EP1、MXFP8 配置和并发 32 下，每卡输出吞吐由 109.1 升至 342.4 token/s，首字延迟中位数由 1.46 降至 0.67 秒。
出现于日报：09-16
- 6. Tiered KV Cache Offloading in vLLM
vLLM 将被逐出的 KV 缓存经主机内存写入文件系统、对象存储或远端节点，后续请求可加载缓存，减少重复预填充。在 2 张 H100、Qwen3.6-35B-A3B 的多轮对话实验中，会话池超过 128 后，存储卸载的预填充吞吐超过替代方案的两倍；该结果不包含完整解码链路。
出现于日报：09-16
- 7. Accelerating Long-Context and Agentic Inference with NVFP4 KV Cache
SGLang 联合 Qwen 与 NVIDIA 为长上下文推理加入 NVFP4 KV 缓存，以块级缩放压缩键值并配套解码内核。相同并发下，Qwen3.8-27B 峰值批次解码吞吐提升约 26%—30%；但 SWE-bench Verified 从 FP8 的 77.80% 降至 76.20%，说明容量收益仍伴随任务相关精度损失。
出现于日报：09-17
- 8. How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus
研究独立复现 Orthrus，检验自回归与扩散混合投机解码的无损声明。在 12 个领域的 1190 条提示上，BF16 下原作者检查点与复现模型的完整输出轨迹一致率仅为 45% 和 43%；FP32 在全部受测提示上一致，但 BF16 的下游任务未出现系统性退化。
出现于日报：09-16
- 9. Ask the Tool, Don't Guess: Agent Tool Calls Hold Their Progress, and the Serving System Should Read It
论文让运行中的工具显式上报剩余工作量或接近完成的信号，供推理引擎决定 KV 缓存保留、驱逐和回迁。四个公开 Agent 语料的分析显示这类信号普遍可读；接入生产级引擎后，相对 LRU，工具调用后的 p90 首 token 延迟在纯 HBM 和 HBM+DRAM 配置分别下降 20.7% 和 20.8%。
出现于日报：09-18
- 10. RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation
RayOrch 用声明式展开和聚合保存文档、页面、片段之间的父子关系，让 GPU 跨父项组批，同时按原始顺序归并结果。在 H20 上，MinerU 从 4 卡扩至 64 卡获得 15.14 倍加速；端到端耗时比 Ray Data 减少 13.1%、比 Daft 减少 29.0%，并提供开源代码。
出现于日报：09-18