- 1. Accelerating LLM Inference via Vector Index Based Output Embeddings
论文把大词表输出投影后的 top-k 选择重写为最大内积搜索，用 HNSW 向量索引只取少量候选 token，再将 logits 散射回稀疏词表。Gemma 3、Llama 3.2 和 Qwen 3 的 CPU 单批推理中，Gemma 3 270M 端到端解码吞吐最高提升 82%，AlpacaEval 质量基本保持。
出现于日报：09-01
- 2. BAGS: A Bit-Partitioned Quantization-Aware Architecture for Accelerating Graph-based Approximate Nearest Neighbor Search
论文针对 HNSW 在图遍历中读取高维向量造成的内存带宽瓶颈，提出 8 位分区量化、遍历与重排共用的统一硬件加速器及重排友好的内存布局。在传统 ANNS 与 RAG 向量数据集上，相比 CPU、GPU 和既有 ASIC 分别实现最高 63.4 倍、12.9 倍和 1.6 倍加速，并保持全精度基线准确率。
出现于日报：09-03
- 3. OpScale: Operator-level Provisioning and Autoscaling for LLM Serving
OpScale 不再把整模型视为自动扩缩容单元，而是利用算子负载异质性，在画像、容量规划、放置和运行时服务四个环节实施算子级弹性。基于生产流量轨迹、最多 40 张 A100 与 24 张 GB200 的评测显示，在满足 SLO 时 GPU 最多减少 36.3%、功耗降低 28%，固定成本下吞吐提升 44%。
出现于日报：09-01
- 4. On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability
论文拆解 Qwen3.8-Flash-Next 的稀疏 MoE 架构：总参数 125B、每个 token 激活 6B，并把 51B 的 n-gram 表移出加速器。模型在 14 个预训练基准中有 8 个超过 397B-A17B 前代，同时仅用约三分之一激活参数、三分之一训练 token 和九分之一训练 FLOPs。
出现于日报：09-02
- 5. Closing the Operational Gap in Semantic Caching
论文指出语义缓存常用的 PR-AUC 只衡量排序，无法反映固定阈值下能否安全复用响应。作者提出 Precision–Cache Hit Ratio AUC 与 Operational Retention Rate，将离线到部署的差距拆成可恢复的阈值效用部分和由正例率决定的结构部分；实验显示训练目标比数据规模更能决定实际可用性。
出现于日报：09-01
- 6. Language Models Can Control Their Own Attention
论文提出声明式注意力协议，让模型在推理链中主动声明 global、focus 或 local 三种关注范围，推理引擎据此跳过无关 KV Cache。对 Gemma-4-31B 与 Qwen-3.6-27B 的 15 个长上下文任务，解码关注 token 分别减少 52.0% 和 31.1%，准确率仅下降 1.27 与 2.75 个百分点。
出现于日报：09-04
- 7. OCGQuant: Outlier-Companion Grouping for NVFP4 Quantization
论文发现 NVFP4 块内异常激活会主导共享缩放因子，使其余数值产生可约减的伴随量化误差，并据此提出异常值—伴随通道自适应分组的后训练量化方法 OCGQuant。它不依赖混合精度、旋转或额外残差补偿，目标是在保持 NVFP4 推理效率的同时恢复低比特模型精度。
出现于日报：09-03
- 8. Exploring Speculative Decoding in vLLM on AMD GPUs
vLLM 工程团队系统比较 native MTP、Gemma 4 MTP、EAGLE-3、DFlash 与 DSpark 五类草稿方法，解释 draft-and-verify 的接受与回退过程，并在 AMD MI300X、MI355X 与 ROCm 环境给出测量。结果强调吞吐收益取决于模型族、草稿检查点、提议长度、工作负载和接受行为，并非开启功能即可稳定加速。
出现于日报：09-01
- 9. From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix
论文为受数据驻留约束的企业整合 200 多个内部应用流量，用生产错误分析分别构建指令遵循、函数调用和任务分布三个 GRPO 专家，再以两阶段 SLERP 合并。分轴训练规避联合奖励干扰，并分别处理语义坍缩、过度工具调用和冗长奖励投机，最终以单模型收敛碎片化 GPU 服务池。
出现于日报：09-03
- 10. NVIDIA PAIR Virtual Inference Router Expands Available Compute on Your Local Network
NVIDIA PAIR 提供面向本地网络异构算力的虚拟推理路由，把多台工作站或边缘设备汇聚成可供多智能体调用的推理资源池。方案聚焦请求发现、模型路由与可用算力扩展，使主智能体拆分出的子任务能够转发给不同节点执行，并保留本地部署的数据边界。
出现于日报：09-04