- 1. ModelExpress: Distributing Model Artifacts at the Speed of Light
针对百 GB 到 TB 级模型在冷启动、扩缩容和强化学习重拟合中反复搬运权重的瓶颈，NVIDIA ModelExpress 按运行时能力选择 P2P RDMA、对象存储流式加载或 GDS 路径，并复用编译内核缓存。DeepSeek-V4 Pro 的权重与 JIT 缓存可在 10 秒内传到新副本，API 就绪时间由 8 分钟降至 1 分 44 秒。
出现于日报：07-27
- 2. Kimi K3 Is Here: Efficient Day-0 Support on vLLM
vLLM 为 2.8 万亿参数 Kimi K3 提供首日可用的生产服务方案：每 token 激活 896 个专家中的 16 个，并联合管理 KDA 循环状态与全注意力 KV 缓存。在 16 张 NVIDIA GB300 上，DSpark 将单用户输出从 118 提升到 370 token/s，达到 3.14 倍加速；自研集合通信核较 NCCL 快 1.7–4.5 倍。
出现于日报：07-30
- 3. ExpertPlex: A High-Goodput Disaggregated Serving System for MoE LLMs with Adaptive Persistent Kernels
ExpertPlex 面向大规模 MoE 服务中预填充与解码资源比例失配的问题，共享两阶段的专家权重、仅拆分轻量注意力模块，并以自适应持久化内核按 tile 调度专家计算。该设计消除超过 95% 的重复权重；在 MiniMax-M2.7 与 GLM-5.1-FP8 上，goodput 较实例级拆分最高提升 2.01 倍，较共置方案提升 1.66 倍。
出现于日报：07-27
- 4. InstantInfer: Enabling Fast LLM Cold Start with Communicating Finite Automata
InstantInfer 针对 LLM 冷启动初始化串行、细粒度 I/O 请求过多的问题，用通信有限自动机描述组件间依赖，在保留原顺序程序结构的同时安全并发执行。作者据此重构 vLLM 的进程树创建、张量加载和模型切换，并给出正确性证明；跨 GPU、负载和规模实验中，冷启动最高加速 7.2 倍。
出现于日报：07-27
- 5. How GPT-5.6 fuses frontier intelligence with frontier efficiency
OpenAI 将 GPT-5.6 的效率优化扩展到模型推理与多智能体工作流。Sol 在 Agents’ Last Exam 得分 53.6，比 Claude Fable 5 高 13.1 分；中等推理档仍高 11.4 分且估算成本约为四分之一。其 max 档在 Artificial Analysis 指数中以约一半成本、少 61% 的耗时达到相差不到 1 分的能力。
出现于日报：07-30
- 6. Kalypso: Relational LLM Serving
针对语义过滤、抽取、排序与连接仍由请求级服务逐次执行、无法理解查询计划的问题，Kalypso 提出关系式 LLM Serving，把算子流水线与 KV Cache 复用纳入统一调度。其自适应内存调度器在多类工作负载上将查询完成时间最多缩短至基线的 1/4.57，同时保持查询语义与输出精度不变。
出现于日报：07-31
- 7. Parallel All the Way Down: Beyond Single-Token Generation with Speculative Decoding
vLLM 与 Red Hat AI 开源支持 P-EAGLE、DFlash、DSpark 三种并行草稿算法，把逐 token 自回归草稿改为一次预测整块候选。P-EAGLE 稀疏化未来位置，DFlash 将验证器状态注入 KV 缓存，DSpark 再加入顺序校正与置信头；公开配置覆盖 Qwen3-8B 单 A100、Qwen3-30B-A3B 双 A100 和 Gemma-4-31B 双 A100。
出现于日报：07-30
- 8. NVIDIA Exemplar Cloud: Lessons for Unlocking Full Performance on AI Infrastructure
文章用四个真实集群案例解释相同 H100、GB200 或 GB300 硬件为何仍会出现 8%–12% 训练吞吐差距，逐层定位 SMMU、NUMA、NCCL 与容器拓扑配置。GB300 案例把 QPS 从 1 调至 4 后，迭代时间由约 1.09 秒降至 0.83 秒；另一个 H100 案例把 12% 性能差距收敛到 3%。
出现于日报：07-31
- 9. Announcing vLLM AFD Plugin: Disaggregating Attention and FFN for Flexible MoE Serving
AFD 插件把 MoE 的有状态 Attention 与路由 FFN 拆成可独立扩缩的服务，同时保留 vLLM 调度器和 OpenAI 兼容接口。DeepSeek-V3.2 W8A8 在昇腾 910C 上采用 64A16F 拓扑时，16K/32K 输入的单位芯片吞吐较 EP64 提升 11.3%/9.0%；异步 prefill 小规模实验把 12 RPS 下 P50 TTFT 从 15.1 秒降到 8.0 秒。
出现于日报：07-30
- 10. Choosing a Text Embedding Model: A Practical Benchmarking and Decision Framework
论文把 embedding 模型选型从“只看排行榜”改成端到端部署决策，比较商业 T3EM 与多种开源模型，并覆盖 MTEB 的分类、聚类、检索、重排等 7 类任务。报告共 33 页、20 张表，进一步把分块、索引、延迟、成本与部署约束纳入同一框架；摘要未给出统一胜率，结论强调按任务约束选型。
出现于日报：07-29