- 1. Token Reduction Is Not Cost Reduction
论文用 2,848 次可计费 Claude Code 配对运行检验上下文压缩的真实经济性，覆盖 103 个任务、7 个代码库和 3 个模型。删除 38% 工具输出 token 的方案反而使配对成本上升 6.8%；缓存流量占重建成本约 87%，说明 token 数并非账单成本的可靠代理。
出现于日报：07-16
- 2. Scaling LLM Inference Beyond Amdahl's Limits via Eliminating Non-Scalable Overheads
Albireo 针对张量并行受调度、I/O 和采样串行开销限制的问题，通过计算重叠与序列并行采样提高最优并行度，无需修改模型架构。相较 vLLM，其吞吐最高提升 1.9 倍、延迟降低 48%、GPU 利用率提升 28%、能耗降低 54%，生产环境吞吐最高提升 2 倍。
出现于日报：07-16
- 3. ELDR: Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving
ELDR 从 prefill 阶段的专家激活构造签名，以平衡 K-means 划分解码 worker，并在同等局部性候选中选择负载最低者；签名缓存与 KV block 共索引。其 vLLM 实现在最多 40 张 GPU、3 个 MoE 模型和 2 类负载上，将中位 TPOT 降低 5.9%–13.9%，且输出保持不变。
出现于日报：07-16
- 4. RTP-LLM: High-Performance Alibaba LLM Inference Engine
RTP-LLM 面向阿里巴巴超过 1 亿用户的工业级大模型推理，统一集成模块化推测解码、自适应 KV Cache 量化、多模态解耦和多级并行。相较 vLLM、SGLang 等系统，模型加载提速 4.7–6.3 倍，生产流量 P95 首 token 延迟下降 35%–37%，批处理延迟下降 35%–40%。
出现于日报：07-13
- 5. AlloyDB Ships Proxy Models That Replace LLM Calls with Local Inference inside the Database
Google Cloud 将代理模型直接嵌入 AlloyDB，新增 ai.generate、ai.if、ai.rank 与 ai.forecast 等 SQL 能力，并与 ScaNN 向量索引协同。数据库可在本地完成语义过滤、重排和预测，减少远程 LLM 调用；现有 ScaNN 索引规模可达 100 亿向量。
出现于日报：07-17
- 6. Adaptive Model Compression (AMC): Saliency-Driven Resource Allocation for Ultra-Low-Power Transformer Inference
针对边缘设备上 Transformer 静态推理对所有 token 使用同等精度、导致能耗与内存浪费的问题，AMC 按 token 显著性动态分配计算资源：高显著信息保留全精度，低显著信息同时降低秩与位宽。45nm CMOS 实验显示，系统能耗下降 59.2%，吞吐提升 2.24 倍，准确率代价仅 3.6%。
出现于日报：07-15
- 7. Post-Train NVIDIA Cosmos 3 in One Day Using Agent Skills
NVIDIA 将 Cosmos 3 Nano 的 LoRA、评测、数据检查和 AutoML 搜索封装为 TAO Agent Skills，使编码代理可自动修补数据配置并启动训练容器。8 张 A100 上约 30 分钟把验证准确率从 54.41% 提升至 87.14%，43 组并行 AutoML 试验在 19.5 小时内进一步达到 93.35%，LoRA 所需 GPU 时约为全参 SFT 的七分之一。
出现于日报：07-15
- 8. Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding
Google Cloud 与 UCSD 将 DFlash 块扩散式投机解码接入开源 vLLM TPU 栈，让草稿器以一次 O(1) 前向生成整块候选 token，消除传统自回归草稿的 K 次串行瓶颈。TPU v5p 上平均 tokens/s 提升 3.13 倍，复杂数学任务峰值接近 6 倍；端到端服务加速 2.29 倍，高于 EAGLE-3 的 1.30 倍。
出现于日报：07-15
- 9. Serving Models, Fast and Slow: Optimizing Heterogeneous LLM Inferencing Workloads at Scale
论文基于 Microsoft Office 365 每日超过 1000 万次请求，刻画实时交互与后台任务在 SLA、地域和负载周期上的差异。系统用流量预测驱动短周期跨数据中心路由，并以整数线性规划联合决定长期 GPU 虚机扩缩容与模型放置，避免把快、慢推理负载塞入同一套静态容量策略。
出现于日报：07-13
- 10. Reducing High-Bandwidth Memory Bottlenecks in JAX-Based LLM Training with Host Offloading
文章针对 JAX 大模型训练先耗尽 HBM、而 GPU 算力尚未吃满的问题，将部分训练状态和数据有计划地下沉到主机内存，并通过传输与计算重叠减轻 PCIe 链路开销。方案覆盖权重、梯度、优化器状态等主要显存消费者，强调按生命周期安排驻留位置；原始 RSS 摘要未披露统一基准提升数字。
出现于日报：07-13