Efficient Serving for Dynamic Agent Workflows with Prediction-based KV-Cache Management
多 agent 工作流里各 agent 共享大量上下文,存在 KV-Cache 复用空间,但实际工作流是动态的——调用哪个 agent、能复用多少 cache 取决于每个任务的具体上下文,固定 LRU 策略会误删高价值 cache。PBKV 用历史工作流规律加当前任务上下文预测后续会调用的 agent,估计 cache 复用潜力,把高潜力条目留在 GPU 显存,并在驱逐和预取时保守使用预测以容忍预测误差。动态工作流上比 LRU 最高加速 1.85x,静态工作流上比 SOTA 的 KVFlow 最高加速 1.26x。
INSIGHT把 KV-Cache 的去留从“最近最少使用”改为“按预测的未来复用潜力”管理,是 agentic 搜索/多轮问答这类共享上下文场景压成本的可借鉴思路。关键设计是预测要保守用——只在驱逐和预取时作为参考,预测错也不致命,这降低了上线门槛。对自建 LLM agent 服务的团队,1.85x 提升主要来自避免高复用 cache 被误删;但需要积累历史工作流轨迹来训练预测器,冷启动阶段收益有限。