- 1. LMetric: Simple is Better - Multiplication May Be All You Need for LLM Request Scheduling
提出 LMetric，一种极简的 LLM 请求调度策略，仅通过乘法运算即可同时兼顾 KV Cache 命中率和负载均衡两大目标。现有方法使用线性组合等复杂组合器计算调度分数，需要大量工作负载特定的超参调优或模型-硬件感知的模拟器。LMetric 用简单乘法替代，无需超参调优，在多种工作负载下均表现出色，实现了开箱即用的高效调度。
出现于日报：03-27
- 2. MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning
针对 MoE 模型的 LoRA 微调效率问题，提出 MoE-Sieve 方法。通过分析发现每层 expert 路由高度倾斜——少量 expert 处理大部分 token，大量 expert 几乎不被激活。MoE-Sieve 先在小校准集上统计路由频次，选取 top-k 高频 expert 仅对其施加 LoRA，跳过冷门 expert。实验表明，仅微调约 30% 的 expert 即可保持甚至超越全量 LoRA 微调的性能…
出现于日报：03-27
- 3. Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score
提出 DIET 方法，一种免训练的结构化剪枝框架，通过维度级全局剪枝实现 LLM 压缩。DIET 在每个任务上独立计算维度重要性分数，再通过融合多任务重要性分数获得全局剪枝策略。与任务无关的方法相比，DIET 能适配特定任务需求；与需要训练的任务感知方法相比，DIET 零训练开销。结合了两种范式的优点——既保持任务适应性，又不增加训练成本。
出现于日报：03-27
- 4. AngelSlim: A More Accessible, Comprehensive, and Efficient Toolkit for Large Model Compression
腾讯混元团队推出的大模型压缩工具包 AngelSlim，整合了量化、投机解码、token 剪枝和蒸馏等前沿算法。首次实现工业可用的 2-bit 大模型 HY-1.8B-int2，FP8/INT8 PTQ 算法达到无损精度；训练对齐的投机解码框架兼容多模态架构和主流推理引擎，实现 1.8x-2.0x 吞吐提升；免训练稀疏注意力方案在 128K 上下文下实现 11.6x 注意力加速。
出现于日报：03-25
- 5. SpecForge: A Flexible and Efficient Open-Source Training Framework for Speculative Decoding
SpecForge 是一个面向生产环境的开源投机解码训练框架，全面支持 EAGLE-3 模型训练。通过 target-draft 解耦、混合并行和优化的训练内核，SpecForge 将 Qwen3-235B-A22B 的 EAGLE-3 训练加速 9.9 倍。在序列长度 4096 下，优化的注意力内核在单块 NVIDIA H200 GPU 上实现了 62.1% 的执行时间缩减和 93.5% 的峰值显存降低…
出现于日报：03-23
- 6. TTQ: Activation-Aware Test-Time Quantization to Accelerate LLM Inference On The Fly · 📖 深度解读
提出 TTQ（Test-Time Quantization），一种激活感知的测试时量化方法，无需重训练即可加速 LLM 推理。解决现有激活感知压缩方法依赖校准数据导致的领域偏移问题——在未见过的下游任务上精度下降。TTQ 在推理时动态适配量化参数，实现即时加速。
出现于日报：03-24
- 7. DRTriton: Large-Scale Synthetic Data Reinforcement Learning for Triton Kernel Generation
DRTriton 提出一个可扩展的学习框架，通过大规模合成数据和强化学习训练 LLM 自动将 PyTorch 代码转换为高度优化的 Triton kernel。核心包含三个组件：CSP-DAG 数据合成算法保证算子空间的全覆盖和无偏采样；课程强化学习通过解耦奖励同时优化转换成功率和推理速度；测试时计算扩展策略将成功率从 62.5% 提升至 91.2%…
出现于日报：03-25
- 8. Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs
Chimera 是一个面向异构 LLM 集群的多 Agent 工作流 serving 调度系统，联合优化端到端延迟和任务性能。通过语义路由估算每个模型对请求的置信度分数，预测工作流剩余总输出长度，并利用在途预测 token 量估算各模型拥塞状态。系统在多阶段工作流场景下，相比现有同构部署方案显著降低延迟，同时维持或提升任务完成质量。
出现于日报：03-25
- 9. FastMMoE: Accelerating Multimodal Large Language Models through Dynamic Expert Activation and Routing-Aware Token Pruning
针对多模态大模型（MLLM）中高分辨率视觉输入导致的长 token 序列和推理延迟问题，提出 FastMMoE。通过动态专家激活和路由感知的 token 剪枝，减少冗余视觉 token 的计算和内存开销，在保持性能的同时显著加速 MoE 架构的推理。
出现于日报：03-24
- 10. The Workload-Router-Pool Architecture for LLM Inference Optimization: A Vision Paper from the vLLM Semantic Router Project
来自 vLLM Semantic Router 项目的系统性架构论文，提出 Workload-Router-Pool (WRP) 统一框架。整合了过去一年的系列工作：信号驱动路由、上下文长度池化路由、语义缓存、幻觉检测、安全分类、多模态 Agent 路由、工具选择等。WRP 架构将负载分析、智能路由和资源池管理三层解耦，为 LLM serving 提供了从单点优化到全局优化的演进路径。
出现于日报：03-25