- 1. 98× Faster LLM Routing Without a Dedicated GPU: Flash Attention, Prompt Compression, and Near-Streaming for the vLLM Semantic Router
针对 LLM 请求路由器（用于安全分类、领域路由、PII 检测）的推理性能优化。标准注意力机制在 8K–32K token 长上下文分类时内存消耗过高（O(n²)），三个并发分类器在 8K token 下需约 4.5GB 仅用于注意力掩码。论文提出三阶段优化：(1) 基于 CK 的 Flash Attention 算子将内存从 O(n²) 降至 O(n)，延迟从 4918ms 降至 127ms（38.7×）…
出现于日报：03-17
- 2. FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling
针对 NVIDIA Blackwell (B200) GPU 上 attention 计算的新瓶颈——张量核吞吐翻倍但共享内存带宽和指数运算单元未同步扩展——FlashAttention-4 重新设计了算法与 kernel 流水线。核心技术包括全异步 MMA 操作、软件模拟指数与条件 softmax 缩放（减少非矩阵运算）、以及利用 tensor memory 和 2-CTA MMA 模式降低共享内存流量…
出现于日报：03-20
- 3. ZipServ: Fast and Memory-Efficient LLM Inference with Hardware-Aware Lossless Compression
ZipServ 提出面向 GPU 架构的无损模型压缩推理方案，解决现有方法因变长比特流与 GPU 并行执行模型不匹配导致推理减速的问题。核心设计包括：kernel 级别的定长编码方案适配 GPU warp 执行、算子级别的压缩感知内存管理、以及系统级别的自适应选择压缩/非压缩路径。在保持比特精确推理的前提下，实现显著的内存节省和推理加速。
出现于日报：03-20
- 4. Serving Hybrid LLM Loads with SLO Guarantees Using CPU-GPU Attention Piggybacking
提出 OmniServe 系统，解决 LLM 服务共置部署中延迟敏感（LS）服务与尽力而为（BE）服务的干扰问题。现有方案通过粗粒度的资源预留来隔离 BE 负载，但这既损害 LS 的 SLO 达标率，又限制了 BE 的吞吐。OmniServe 的核心机制是 Attention Piggybacking：将 CPU 和 GPU 资源协同利用，在 GPU 为 LS 服务计算 attention 的间隙…
出现于日报：03-17
- 5. Leech Lattice Vector Quantization for Efficient LLM Compression
LLVQ 利用 Leech 格（24 维空间中已知最优球填充格）对 LLM 权重进行向量量化压缩，突破了标量量化在极低比特率下的性能天花板。方法通过扩展搜索算法支持 Leech 格的索引和角度搜索，并提出全并行化的去量化内核，无需显式存储码本。在压缩质量上全面优于 Quip#、QTIP 和 PVQ 等当前最先进方法，提供了更强的理论保证。
出现于日报：03-18
- 6. SageSched: Efficient LLM Scheduling Confronting Demand Uncertainty and Hybridity
SageSched 针对 LLM 推理调度面临的两大核心挑战——输出长度不确定性（unpredictable output lengths）和计算/内存资源异质性（resource hybridity）——提出了一套高效调度框架。系统通过提示词内容和历史数据预测输出长度分布，构建同时考虑计算与内存资源的服务成本模型，并实施不确定性感知的调度策略…
出现于日报：03-18
- 7. Filtered Approximate Nearest Neighbor Search in Vector Databases: System Design and Performance Analysis
本文对向量数据库中的过滤近似最近邻搜索（Filtered ANNS）进行系统性研究，覆盖主流系统设计方案（预过滤、后过滤、索引内过滤），分析各类混合关键词-向量查询场景下的性能权衡，并提出生产环境的设计准则。基准测试涵盖多种过滤选择率（低、中、高），揭示了不同场景下的最优策略差异，为向量数据库的系统选型和索引策略提供了实践指导。
出现于日报：03-19
- 8. FlashSampling: Fast and Memory-Efficient Exact Sampling
FlashSampling 针对大词表语言模型解码时的采样操作瓶颈，提出将采样原语融合进 LM head 矩阵乘法（matmul）中，避免在 HBM（高带宽显存）中显式化 logits 张量。该方法消除了采样阶段额外的显存搬运和 CUDA kernel 启动开销，在不影响采样精确性的前提下显著降低了解码延迟和显存峰值占用。在 vLLM 框架中的集成测试中，该方法在大词表场景下带来显著的吞吐量提升。
出现于日报：03-19
- 9. Not All Prefills Are Equal: PPD Disaggregation for Multi-turn LLM Serving
PPD 系统针对多轮对话 LLM 服务中预填充-解码分离（PD 分离）场景的效率问题，提出基于工作负载感知的动态路由策略。传统 PD 分离方案将所有预填充请求路由到专用节点，忽略了多轮对话中第 2+ 轮的上下文复用特性。PPD 将部分预填充请求路由到解码节点，利用已有 KV 缓存，在保持吞吐量的同时将第 2+ 轮 TTFT（首 Token 延迟）降低 48–73%。
出现于日报：03-19
- 10. VQKV: High-Fidelity and High-Ratio Cache Compression via Vector-Quantization
VQKV 针对 LLM 长上下文场景中 KV 缓存占用过大的问题，提出基于向量量化（VQ）的 KV 缓存压缩方法。与低秩近似和标量量化等传统方法相比，VQ 通过将键值张量映射到共享码本中的紧凑编码，在保持高重建保真度的同时实现更高的压缩比。该方法无需重新训练，可即插即用地集成到现有推理栈中。实验表明，在多个 LLM 基准测试上，该方法以更低的显存占用保持了接近原始模型的性能。
出现于日报：03-19