- 1. Hybrid GPU-CPU Retrieval for Personalized Search at Ultra-Large Scale
Meta 针对超大规模 UGC 搜索，把深交互召回与预排序放在 GPU 的十亿级精选库，把广覆盖交给约大20倍的 CPU 库，合并去重后进入共享排序。九天线上实验相对旧 CPU 系统，模型评分 DCG@20 提升4.51%，有效互动指标 GSRR 提升2.01%；这些结果对应整体方案，不能单独归因于硬件。
出现于日报：09-22
- 2. How SWE-Serve Exposes the Gap Between Local Tests and Live Serving
SWE-Serve 从 83 个 SGLang 合并变更整理出 53 项推理工程任务，覆盖解码、缓存、调度、模型接入等六类问题。在包含真实服务检查的 19 项任务中，同一批补丁的通过率从去掉服务检查时的 69.4% 降为完整验证时的 45.9%，说明局部测试无法充分验证服务链路。
出现于日报：09-24
- 3. 4-bit Rotational Quantization
Weaviate 1.39 将旋转量化扩展至 4 bit，结合 SIMD、内存预取及可选均值中心化，降低向量检索资源开销。百万条 1536 维向量实验中，堆内存相对旧版 8 bit 基线下降约 45%；MS MARCO 上中心化 RQ4 的纯量化 recall@10 为 95.8%，对前 20 项精确重算后为 100%。
出现于日报：09-21
- 4. Open-Sourcing Rebalancer: A Generic, High-Performance Library for Solving Assignment Problems
Meta 开源 Rebalancer，把对象分配到资源容器的问题抽象成约束、目标与表达式图，可选择局部搜索或整数规划求解。系统每天求解约4000万次、覆盖30多种问题；26.5万个对象与3200个容器的场景中，P99求解时间为12秒，并提供可视化工具解释约束与分配结果。
出现于日报：09-22
- 5. MLCommons Sets Participation Record with New MLPerf Inference v6.1 Benchmark Results
MLPerf Inference v6.1新增端到端RAG和边缘多轮推理测试，将文档入库与查询问答分别测量，本轮共有30家提交组织。官方报告最优单加速器服务场景中，DeepSeek R1较一年前提升5.7倍，视觉语言模型较半年前提升2.99倍；这些是跨轮系统结果，不是单项软件优化的因果收益。
出现于日报：09-25
- 6. Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
针对扩散语言模型缓存复用与并行验证叠加后的显存访问瓶颈，Flash-dLLM 使用融合 KV 内核，并让同一模型同时起草和验证 token，无需额外训练或辅助模型。在数学与代码生成任务上，相对 Elastic-Cache 的加速分别达到 5.1 倍和 11.0 倍；这些结果针对扩散模型，不代表普通自回归服务。
出现于日报：09-24
- 7. Global AI routing with <1% overhead on multi-cluster GKE Inference Gateway
Google 将跨区域入口与集群内 LLM-d 调度分层，用 KV 缓存占用指导溢出流量。在覆盖 17000 个计算节点的部署中，三个区域集群测得 8457 token/s，单集群为 2898 token/s，成功率约 99.9%；网关保留直连吞吐的 99.5%，测试使用 SGLang 与 MoE 模型。
出现于日报：09-24
- 8. Benchmarking LLM Inference at Scale with AIPerf
文章针对压测客户端自身成为瓶颈的问题，介绍以多进程和 ZMQ 协调负载生成、结果处理的 AIPerf。工具支持 15 种以上端点，示例以每秒 10 请求的泊松到达模式发送 200 次请求，输入长度实际分布为 154–818 token；这些是压测配置与观测，并非推理加速倍数。
出现于日报：09-21
- 9. Better prompt caching for GPT-6
OpenAI更新GPT-6提示缓存，支持30分钟窗口内符合条件的共享前缀复用，并增加命中监控、缺失诊断和显式断点。缓存输入 token 最高可享90%折扣；文章引用GitHub Copilot在数十亿请求上的经验，需重新计算的提示 token 占比较此前基线下降超过50%，属于厂商披露的生产证据。
出现于日报：09-25
- 10. FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation
FLEET针对多次温度采样反复生成相似答案的问题，只记录高熵状态形成的稀疏轨迹，再利用历史轨迹及评价调整 token logits。论文报告达到重复采样基线相同准确率时可加速3倍；相同预算下，LiveCodeBench的Pass@32从59.9%升至66.2%，并公开算法与实验代码。
出现于日报：09-25