02 4.00
SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling
SMetric 面向 Agent 连续发起请求的 LLM 服务，指出纯粹按 KV 命中路由会让少数实例过载；BAILIAN 生产轨迹的跨轮 KV 复用超过 80%，聊天流量约为 54%–62%。它把会话首请求用于负载均衡、后续请求采用缓存感知路由，在 prefill-decode 共置下集群 TPS 提升 10%–16%，解耦部署的 prefill TPS 提升 2%–34%。
INSIGHT多轮 query 改写、RAG 和搜索 Agent 都会产生强会话局部性，不应把“缓存命中”当成每个请求的唯一目标。可先用无状态的会话轮次信号分散首请求，再让后续请求复用本地 KV，并同时监控全局 KV 迁移成本、TPS、P99 和缓存命中率。
Jiahao Wang, Kaizhan Lin, Kaixi Zhang, Jinbo Han, Xingda Wei, Sijie Shen, Chenguang Fang, Wenyuan Yu...
arXiv·2026-07-09·Relevance 4 · Novelty 4 · Practical 4 · Evidence 5 · Timely 2