- 1. HBM Is Not All You Need: Efficient Disaggregated LLM Serving across Memory-heterogeneous Accelerators
论文面向大模型推理中 prefill 计算密集、decode 访存密集的阶段差异，提出 HMA-Serve，把 GDDR 加速器用于 prefill、HBM GPU 用于 decode。系统通过阶段化低精度、逐层 KV 传输流水线和延迟反量化，跨 Qwen3 4B 到 32B 与 3 条生产 traces 验证，最高达到 3.2 倍 goodput 和 4.8 倍 goodput-per-dollar，且生成质量无可测损失。
出现于日报：07-03
- 2. GPUSparse: GPU-Accelerated Learned Sparse Retrieval with Parallel Inverted Indices
GPUSparse 把 SPLADE 这类学习型稀疏检索的打分从 CPU 倒排遍历（WAND/Block-Max WAND）搬到 GPU：用 block 对齐、warp 合并访存的并行倒排索引，配合批量 scatter-add 打分与融合 Triton 内核。在 MS MARCO 880 万段落上，精确打分与 Pyserini 对齐到三位小数（MRR@10=0.383，Recall@1000≥0.999），单查询 1.27ms…
出现于日报：06-29
- 3. TileMaxSim: IO-Aware GPU MaxSim Scoring with Dimension Tiling and Fused Product Quantization · 📖 深度解读
针对 ColBERT 多向量检索的 token 级 MaxSim 打分，论文先做 roofline 分析，指出朴素实现因要物化 Nq×Nd 相似度矩阵只用到 HBM 峰值带宽的 5–18%。TileMaxSim 用 IO-aware Triton 内核解决：多 query 的 SRAM tiling 让文档 embedding 只读一次、维度 tiling 支持 d>128、融合乘积量化查表把 HBM I/O 砍掉约 31 倍…
出现于日报：06-29
- 4. Kara: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression
Kara 针对推理模型长 CoT 解码时 KV cache 持续膨胀的问题，提出只在最近生成窗口内做滑动式压缩。方法用双向注意力为窗口内 KV 打分，再用 Token2Chunk 把关键 token 扩展为可变长语义块，并适配 PagedAttention 实现 KvLLM。摘要未披露具体吞吐百分比，但强调在多组实验中能降低 KV 内存并提升输出吞吐。
出现于日报：07-03
- 5. Meta’s AI Storage Blueprint at Scale
Meta 这篇工程文章讨论 AI 训练数据和模型能力快速增长后，存储访问如何成为训练速度与计算成本的关键基础设施。文章指出前沿模型发布节奏已从“数月”压缩到“数周”，可靠、快速的数据访问直接影响 AI 创新的迭代速度。它不是论文式算法贡献，但提供了超大规模 AI 存储架构的产业实践信号。
出现于日报：07-03
- 6. ASAP: A Disaggregated and Asynchronous Inference System for MoE Prefill
ASAP 面向 MoE 大模型在线服务的 prefill 阶段，指出现有注意力 DP 与专家 EP 混合并行会在阶段切换处产生全局同步屏障。论文把 attention 与 MoE stage 解耦为异步流水线，并结合异步通信原语、请求调度和模型执行优化。在 CloudMatrix384 super-node 上，相比同步 serving 方案，SLO-compliant prefill throughput 提升 90%。
出现于日报：07-03
- 7. Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice
论文指出 LLM serving 的 KV cache 占用具有二维时空增长特征，传统 Shortest Job First 等时间中心启发式无法刻画显存压力。作者提出 Smallest Volume First 与 1-bit SVF，并用 volume-certificate 证明把高并发场景下的最坏竞争比从既有 48 推近到 3。系统作为 vLLM 插件层实现，在 Llama-3.1 上降低平均和尾延迟。
出现于日报：07-03
- 8. SwiftCache: Efficient LLM Serving for Multi-turn Conversations with Heterogeneous KV Cache Sharing
SwiftCache 针对多轮对话中历史 token 持续累积、KV cache 被迫 offload 到 CPU/SSD 后 TTFT 上升的问题，提出跨模型异构 KV cache 共享。低 KV 需求模型把空闲 GPU 显存和 NVLink 带宽捐给高需求模型，同时只保留当前活跃层 KV 在本地显存。真实 workload 上，相比 vLLM 和 SGLang，P99 TTFT 最高降低 69%，最大上下文长度提升 3.98 倍。
出现于日报：07-03
- 9. Harnessing Routing Foresight for Micro-step-level MoE load balancing in RL Post-training
ForeMoE 关注 MoE 在 RL post-training 中的 expert 负载不均衡问题：不同于预训练，RL 微步 batch 很小，负载会发生高频波动。系统利用 rollout 阶段可预见的 routing 信息，提前指导 recompute 和 policy update 阶段的负载均衡，并用层级 planner 拆解 NP-hard 规划问题…
出现于日报：07-03
- 10. Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation
论文研究 KV cache 量化对安全对齐的影响，发现只看 perplexity 或任务准确率会漏掉严重风险。跨 11 个 3.8B 到 72B 指令模型和 5 个 benchmark、1894 条 prompt，低比特量化可让 Mistral-7B 在 perplexity 仅 1.03 倍时损失 15.2% 拒答能力。作者提出 PCR 诊断三类失效模式，20 条 calibration prompt 即可预测修复方向…
出现于日报：07-03