Ask the Tool, Don't Guess: Agent Tool Calls Hold Their Progress, and the Serving System Should Read It
论文让运行中的工具显式上报剩余工作量或接近完成的信号,供推理引擎决定 KV 缓存保留、驱逐和回迁。四个公开 Agent 语料的分析显示这类信号普遍可读;接入生产级引擎后,相对 LRU,工具调用后的 p90 首 token 延迟在纯 HBM 和 HBM+DRAM 配置分别下降 20.7% 和 20.8%。
INSIGHT对社区搜索中的检索、数据库查询和外部工具,可在包装层暴露进度,帮助服务端提前回迁上下文,而不是仅按历史时长猜测。这里的核心贡献是服务系统与工具的状态协作;上线前应测试无进度信号、错误上报和长尾工具,避免回迁流量反而挤占正常查询。