LMetric: Simple is Better - Multiplication May Be All You Need for LLM Request Scheduling
提出 LMetric,一种极简的 LLM 请求调度策略,仅通过乘法运算即可同时兼顾 KV Cache 命中率和负载均衡两大目标。现有方法使用线性组合等复杂组合器计算调度分数,需要大量工作负载特定的超参调优或模型-硬件感知的模拟器。LMetric 用简单乘法替代,无需超参调优,在多种工作负载下均表现出色,实现了开箱即用的高效调度。
INSIGHT该工作来自阿里巴巴,核心贡献是发现 KV Cache 命中率和负载均衡指标的乘法组合就能得到优秀的调度策略,避免了复杂的超参搜索。对大规模 LLM serving 系统的工程实践有直接参考价值——简单策略往往比精心设计的复杂策略更鲁棒、更易维护。