- 1. Why Smaller Is Slower? Dimensional Misalignment in Compressed LLMs
该论文揭示了后训练压缩导致 LLM 推理变慢的根本原因——「维度错位」（dimensional misalignment）。作者在框架层、库层和硬件层三个层面进行了全栈分析，发现压缩后的不规则张量维度与 GPU 执行栈不兼容（如 CUDA kernel 的 tile 大小、内存对齐要求等），导致计算效率严重下降。论文量化了不同压缩比下的性能退化程度，并提出了针对性的修复方案。
出现于日报：04-15
- 2. Sandwich: Joint Configuration Search and Hot-Switching for Efficient CPU LLM Serving
CPU 在 LLM 推理中因成本低、可用性高而具有重要价值，但 prefill 和 decode 阶段资源需求冲突导致性能瓶颈。Sandwich 提出了一套全栈 CPU LLM 推理优化方案，通过联合配置搜索（考虑 sub-NUMA 硬件结构）和热切换机制消除跨阶段干扰。该方法在非拆分部署约束下，通过动态切换 prefill/decode 配置实现最优资源利用，显著提升 CPU 推理的吞吐量和延迟表现。
出现于日报：04-17
- 3. Token-Budget-Aware Pool Routing for Cost-Efficient LLM Inference
该论文指出生产环境中 vLLM 集群按最大上下文长度配置每个实例，导致 80-95% 的短请求浪费了 4-8 倍并发能力，同时引发 KV-cache OOM 崩溃和请求拒绝。作者提出 token-budget-aware pool routing 方案：通过自校准的分类器估计每个请求的总 token 预算，将请求路由到配置匹配的实例池，从根本上解决配置-流量不匹配问题。
出现于日报：04-15
- 4. Latent-Condensed Transformer for Efficient Long Context Modeling
针对大语言模型处理长上下文时 KV 缓存线性增长和自注意力二次复杂度的瓶颈，提出 Latent-Condensed Attention (LCA)，在 Multi-head Latent Attention (MLA) 的低维潜在空间中直接压缩上下文。核心设计将表征解耦为语义潜在向量和位置键，分别通过查询感知池化和锚点选择进行聚合。该方法联合降低计算成本和 KV 缓存占用，无需额外参数，能原生作用于 MLA 压缩结构…
出现于日报：04-16
- 5. Calibrated Speculative Decoding: Frequency-Guided Candidate Selection for Efficient Inference
投机解码通过小模型草稿绕过全量验证来加速自回归生成，但传统框架因频繁误拒（语义正确但词汇不同的输出）而效率受限。本文提出 Calibrated Speculative Decoding (CSD)，一种无需训练的框架，通过频率引导的候选选择机制恢复被标准验证丢弃的有效 token，显著提升推理加速比，同时保持输出质量。
出现于日报：04-17
- 6. Robust Ultra Low-Bit Post-Training Quantization via Stable Diagonal Curvature Estimate
大语言模型部署面临显存和算力瓶颈，训练后量化 (PTQ) 是关键压缩手段。现有基于 Hessian 的 PTQ 方法在低比特场景下因校准数据有限导致曲率估计噪声大而性能退化。本文提出 DASH-Q，通过稳定的对角曲率估计替代跨通道依赖的 Hessian 方法，在超低比特（W2/W3）量化下仍保持较高精度，无需重训练即可大幅压缩模型体积。
出现于日报：04-17
- 7. Tessera: Unlocking Heterogeneous GPUs through Kernel-Granularity Disaggregation
Tessera 是首个支持内核粒度（kernel-granularity）异构 GPU 分解的系统。不同于现有粗粒度方案（如按层或按阶段分割），Tessera 能将单个 GPU kernel 调度到最适合的异构 GPU 上执行，实现更细粒度的资源利用。系统自动分析 kernel 的计算特性并选择最优硬件映射，无需手动适配模型架构。
出现于日报：04-15
- 8. QCFuse: Query-Centric Cache Fusion for Efficient RAG Inference
针对 RAG 推理中 KV cache 复用效率低的问题，提出 QCFuse——一种查询中心的缓存融合方法。现有 cache fusion 方法仅从局部视角选择 token 进行重算，缺乏对用户 query 的全局感知。QCFuse 通过低成本获取上下文感知的 query 表征，在 token 选择阶段引入全局 query 信号，使重算 token 的选择更精准…
出现于日报：04-14
- 9. SpecBranch: Speculative Decoding via Hybrid Drafting and Rollback-Aware Branch Parallelism
现有投机解码方法受限于草稿模型与目标模型的串行执行导致的互等气泡。SpecBranch 提出混合草稿策略结合回滚感知的分支并行机制，消除 draft/target 模型之间的串行等待。通过分支并行执行和回滚感知调度，实现了更高的推理并行度和加速比，是投机解码框架的架构级改进。
出现于日报：04-17
- 10. fabric-lib: RDMA Point-to-Point Communication for LLM Systems
fabric-lib 是 Perplexity AI 开源的 RDMA 点对点通信库，专为 LLM 系统中的新兴通信模式设计，包括分离式推理（disaggregated inference）、MoE 路由和异步 RL 微调。现有实现绑定特定网卡，难以集成到推理引擎并跨硬件移植。fabric-lib 提供统一的 RDMA 抽象层，支持多种 NIC，已在生产环境部署。
出现于日报：04-15