- 1. Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving
针对生产环境中 vLLM 集群因按最长上下文配置导致的 KV-cache 过度分配和吞吐量浪费问题，提出双池 token 预算路由机制。该方法将同构 GPU 集群划分为高吞吐短上下文池和高容量长上下文池，基于在线学习的 bytes-to-token 比率进行请求路由。实验表明可消除 OOM 崩溃和请求拒绝，同时将短请求吞吐量提升 4-8 倍。
出现于日报：04-10
- 2. KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta
Meta 提出 KernelEvolve，一个基于 LLM Agent 的自动化 kernel 编写与优化系统，能为 NVIDIA/AMD GPU、Meta MTIA 芯片和 CPU 等异构硬件自主生成生产级优化 kernel。系统将 kernel 优化建模为搜索问题，自动探索数百种候选实现。在广告排序模型推理中实现 60% 吞吐提升，在 KernelBench 的 250 道题目上达到 100% 通过率…
出现于日报：04-07
- 3. Fast Heterogeneous Serving: Scalable Mixed-Scale LLM Allocation for SLO-Constrained Inference
解决大规模 LLM 推理部署中异构 GPU 资源分配难题：需要同时选择基础模型、配置异构 GPU 并行策略和分配工作负载，且满足延迟、精度和预算约束。提出两种约束感知启发式算法（贪心和自适应贪心），包含 TP 感知可行性选择和 GPU 合并机制。在基于 Azure LLM Inference Trace (2025) 校准的工作负载上，两种算法均可在 1 秒内生成可行方案，AGH 接近最优成本。
出现于日报：04-10
- 4. MegaTrain: Full Precision Training of 100B+ Parameter Large Language Models on a Single GPU
提出 MegaTrain，一种以内存为中心的系统，能在单张 GPU 上完成 100B+ 参数 LLM 的全精度训练。核心设计将参数和优化器状态存储在主机内存中，GPU 仅作为瞬态计算引擎。通过流水线双缓冲执行引擎重叠参数预取、计算和梯度卸载，以及无状态层模板替代持久自动微分图。在单张 H200 GPU (1.5TB 主机内存) 上可训练 120B 参数模型…
出现于日报：04-10
- 5. Fast NF4 Dequantization Kernels for Large Language Model Inference
针对 NF4（4-bit NormalFloat）量化模型在 NVIDIA GPU 上推理时反量化开销大的问题，提出基于共享内存的轻量优化方案。利用共享内存相比全局内存 12-15 倍的延迟优势，在 Gemma 27B、Qwen3 32B、Llama3.3 70B 三个模型上实现 kernel 级别 2.0-2.2 倍加速，端到端推理提升高达 1.54 倍。方案完全兼容 BitsAndBytes 生态，可即插即用。
出现于日报：04-07
- 6. FluxMoE: Decoupling Expert Residency for High-Performance MoE Serving
针对 MoE 模型推理中大量 expert 权重闲置占用 GPU 显存、与 KV Cache 竞争内存的问题，提出 FluxMoE 系统。核心思想是将 expert 权重从 GPU 常驻内存中解耦，引入 expert paging 抽象，按需加载 expert 并在使用后立即驱逐，将 GPU 内存优先分配给 KV Cache 等性能关键状态。系统基于 vLLM 实现，在严重内存受限场景下显著提升 MoE 模型的服务吞吐。
出现于日报：04-07
- 7. Robust Length Prediction: A Perspective from Heavy-Tailed Prompt-Conditioned Distributions
揭示 LLM 输出长度预测的核心问题：同一 prompt 在固定模型和解码配置下产生的输出长度不是确定性标量，而是服从重尾分布。现有方法用单次采样长度作为标签是不可靠的。提出 ProD 方法，从同一 prompt 的多次独立生成中构建训练目标，开发了基于中位数的 ProD-M 变体，复用 LLM 隐层状态进行预测。
出现于日报：04-10
- 8. Patterns behind Chaos: Forecasting Data Movement for Efficient Large-Scale MoE LLM Inference
针对大规模 MoE 模型（200B-1000B 参数）推理中 expert 随机选择导致的数据搬运开销问题，对 2025 年发布的 4 个前沿开源 MoE 模型进行了大规模分析（24000+ 请求）。从时间和空间两个维度系统性地总结出 6 条关键洞察，并在 wafer-scale GPU 和现有 GPU 系统上验证。在 wafer-scale GPU 上，基于洞察的轻量架构修改可带来显著的推理效率提升。
出现于日报：04-07
- 9. When RL Meets Adaptive Speculative Training: A Unified Training-Serving System
提出 Aurora，首个统一投机解码训练与推理的在线系统。现有投机解码方案将 speculator 训练和服务分离，导致部署前离线训练时间长、真实加速效果只在部署后才能评估、目标模型迁移新领域时 speculator 退化等问题。Aurora 通过从实时推理流量中持续在线学习 speculator，以强化学习直接优化端到端解码加速指标，闭合训练-服务的反馈环路。
出现于日报：04-07
- 10. AsyncTLS: Efficient Generative LLM Inference with Asynchronous Two-level Sparse Attention
针对长上下文 LLM 推理中注意力复杂度和 KV cache 内存的双重挑战，提出 AsyncTLS 分层稀疏注意力系统。结合粗粒度 block 过滤和细粒度 token 选择，配合异步卸载引擎利用时间局部性重叠 KV cache 传输与计算。在 Qwen3 和 GLM-4.7-Flash 上（GQA 和 MLA 架构），实现与全注意力相当的精度，算子加速 1.2-10.0 倍…
出现于日报：04-10