- 1. Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry
针对长上下文推理中注意力和 KV Cache 增长的问题，论文从冻结 Q/K 投影矩阵的谱几何出发，用有效秩识别 retrieval/streaming head，并采用稀疏注意力。50% 稀疏率下平均保留 Full Attention 96.5% 性能，256K 上下文将 KV Cache 降低 50%，prefill/decode 延迟最高下降 41.4%/66.0%。
出现于日报：08-11
- 2. Power-aware Deep Learning Model Serving with μ-Serve
μ-Serve 面向多模型 GPU 集群联合优化模型切分、放置、请求调度与动态频率缩放，在满足延迟或吞吐 SLO 的前提下降低能耗。系统使用算子敏感度指导细粒度供给，用预测输出长度的调度器缓解生成模型的不确定性，并在 8 节点、16 GPU 集群及生产负载上验证，报告 1.2–2.6 倍节能且不违反 SLO。
出现于日报：08-13
- 3. FlashRT: Agent Harness for Guiding Agents to Deploy Real-Time Multimodal Applications
FlashRT 面向实时多模态应用的部署优化，把开发者参考实现转成中间表示，再由编码代理提出、验证并基准测试多 GPU 变换。论文在 NVIDIA B200 上报告最高约 70 倍延迟下降和 2.8 倍吞吐提升；在 AMD MI355X 上，Qwen3-Omni 文本转音频相对专家 vLLM-Omni 实现延迟下降 65%。
出现于日报：08-10
- 4. SuperLocalMemory 4.0: The Governed Memory Operating System for AI Agents
SuperLocalMemory 4.0 将密集语义、BM25、时间、Hopfield 关联和扩散激活五路检索通过 RRF，配合双时间召回、个人/共享/全局记忆以及访问控制。其可靠写入链路包含代际隔离、策略注册表、可验证事务和哈希完成清单；11 类故障与机制场景各重复 200 次，2200/2200 次满足设定属性，受控写入额外开销为 p50 1.687 毫秒、p99 2.728 毫秒。
出现于日报：08-12
- 5. Compiler Optimization via LLM Reasoning for Efficient Model Serving
论文把模型服务中的编译器调优建模为上下文相关的序列决策问题：LLM 根据当前程序状态和历史性能反馈提出硬件感知变换，再由结构化蒙特卡洛树搜索平衡探索与利用。作者强调无需重新训练 LLM，即可在神经网络编译优化中提升样本效率，并以更少的候选评估获得与领先神经编译器相当或更好的加速效果。
出现于日报：08-13
- 6. BEAM: Joint Resource–Power Optimization for Energy-Efficient LLM Inference under SLO Constraints
BEAM 针对在线大模型推理中“已经满足 SLO 仍在浪费能耗”的问题，在 vLLM 上联合调节 GPU 频率、chunk size 和 microbatch 数，按请求到达与完成事件动态分配 TTFT/TBT 延迟余量。控制器配套轻量预测模型，单次决策低于 1 毫秒；论文报告端到端 GPU 能耗最高比 vLLM 降低 51%。
出现于日报：08-12
- 7. Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension
论文系统考察长上下文扩展中的四类看似细小的 Transformer 架构选择，发现它们会产生叠加性的负面影响。单个选择的损失可能不明显，但三个或更多选择组合时，下游长上下文表现最多下降 47%，而短上下文 loss 和验证集无法提前暴露问题；作者还指出，在预训练早期进行上下文扩展即可较早识别差异。
出现于日报：08-13
- 8. The Multilingual Quantization Tax: Structural Collapse and Typological Fragility in Edge SLMs
论文评估 Gemma 4 与 Qwen 3.5 在八种类型学差异明显的语言上进行 4-bit 权重量化后的性能变化，关注边缘设备部署中的 quantization tax。结果显示，低资源语言和非拉丁文字可能出现结构性表示坍塌，跨语言路由和多步任务比部分联想记忆更脆弱；量化损伤并不能由英语基准结果可靠预测。
出现于日报：08-13
- 9. SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling
SMetric 面向 Agent 连续发起请求的 LLM 服务，指出纯粹按 KV 命中路由会让少数实例过载；BAILIAN 生产轨迹的跨轮 KV 复用超过 80%，聊天流量约为 54%–62%。它把会话首请求用于负载均衡、后续请求采用缓存感知路由，在 prefill-decode 共置下集群 TPS 提升 10%–16%，解耦部署的 prefill TPS 提升 2%–34%。
出现于日报：08-10
- 10. Previewing Ultrafast mode: GPT-5.6 Sol at up to 14X the speed
OpenAI 公布 Ultrafast API 服务层，为 GPT‑5.6 Sol 提供最高 14× 加速，输出速度可达 750 tokens/s，底层由 Cerebras 提供算力。它不是新模型训练方法，而是把高吞吐推理资源包装成可直接调用的服务档位，适合需要低延迟 query 改写、重排解释或在线 Agent 的场景。
出现于日报：08-14