AgentIR: A Workload-Adaptive Cascade Retrieval Substrate for Long-Term Conversational Memory
面向长程对话记忆这种「索引在线增长、query 类型 session 内漂移、单次检索预算 sub-10ms」的非经典 IR 负载,论文提出 AgentIR:在 BM25/Dense/RRF/agent-aware RRF 这四种 fusion 中按 query 自适应路由,并用一个 confidence-triggered cascade router 仅基于 BM25 top-k margin 决定是否调用 ~52ms 的 dense channel。在 LongMemEval (n=500) 上,cascade 在等价 LLM-as-judge 准确率下跳过 63% 的 query,整体提速 2.67×(双 judge bootstrap p≥0.88);按 qtype 调阈值后提速进一步到 5.76×;在 LoCoMo 上同样验证了该结论。
INSIGHT「dense channel 不是每个 query 都值得跑」这件事在工业搜索其实早就被验证过(粗排-精排截断),但 AgentIR 把它进一步精细化为「仅看 BM25 top-k margin 就能预测 dense 是否会改变结论」,并给出了无需重训、可跨 workload 迁移的简单阈值。对接入 Agent 长期记忆的检索系统而言,这是把 latency 预算从「每 query 都付 dense 钱」改成「仅 37% 付钱」的现成路径——按目前 vector retrieval QPS 成本结构,单这一项就能砍掉一半以上的在线推理预算。