AgentIR: A Workload-Adaptive Cascade Retrieval Substrate for Long-Term Conversational Memory
面向长程对话记忆这种「索引在线增长、query 类型 session 内漂移、单次检索预算 sub-10ms」的非经典 IR 负载，论文提出 AgentIR：在 BM25/Dense/RRF/agent-aware RRF 这四种 fusion 中按 query 自适应路由，并用一个 confidence-triggered cascade router 仅基于 BM25 top-k margin 决定是否调用 ~52ms 的 dense channel。在 LongMemEval (n=500) 上，cascade 在等价 LLM-as-judge 准确率下跳过 63% 的 query，整体提速 2.67×（双 judge bootstrap p≥0.88）；按 qtype 调阈值后提速进一步到 5.76×；在 LoCoMo 上同样验证了该结论。
INSIGHT「dense channel 不是每个 query 都值得跑」这件事在工业搜索其实早就被验证过（粗排-精排截断），但 AgentIR 把它进一步精细化为「仅看 BM25 top-k margin 就能预测 dense 是否会改变结论」，并给出了无需重训、可跨 workload 迁移的简单阈值。对接入 Agent 长期记忆的检索系统而言，这是把 latency 预算从「每 query 都付 dense 钱」改成「仅 37% 付钱」的现成路径——按目前 vector retrieval QPS 成本结构，单这一项就能砍掉一半以上的在线推理预算。
1. 问题与动机
经典 IR 的核心假设——索引是静态的、查询是 stateless 的、查询延迟可以摊到 ~200ms 网络搜索预算——在 Agent 长程记忆场景下全部失效：
- 索引非静态：Memory 随对话流单调增长，Agent 每步写入一条记录，繁忙时段 10+ 条/分钟，破坏 Lucene-class 引擎的"构建-查询分离"摊销假设。
- 查询非平稳：单个 800 轮的 session 内会混杂事实查找、多跳推理、时间推理三类查询，"没有任何单一融合策略能在三者上同时最优"。
- 延迟预算极紧：Agent 推理循环每步会调用 5–20 次检索，单次必须 ≤10ms，而 web search 通常给的预算是 200ms。
定量证据：LongMemEval 上 gold session 的中位数归一化排名仅 0.20–0.27（temporal / knowledge / multi-session 三类问题），说明 Agent 记忆查询在时间维度高度集中，经典引擎完全没有利用这一结构。
2. 方法详解
AgentIR 在两条决策轴上设计：
第一轴：哪种融合策略——BM25 alone / Dense (HNSW) / RRF / agent-aware RRF（融合词法+语义+时间衰减）。
第二轴：是否触发约 52ms 的 dense 通道——用最廉价的 BM25 top-k margin 信号判定：
Δ = s₁ − s₂ ≥ τc → 跳过 dense，直接返回 BM25
Δ < τc → 升级到 Dense + RRF + recencyAgent-aware 评分函数为加性结构：
score(d, q) = RRF(r_sparse, r_dense) + α · exp(−Δt / τ) + β · w_d其中 Δt 是文档年龄，τ 是衰减时间尺度，w_d ∈ [0,1] 是 per-record 重要性。α 选择远小于 max(RRF)，让 recency 项只起 tie-breaker 作用。
温度分区索引（Theorem 4.1）：在指数 recency 偏置 πᵢ ∝ e^(−λ(K−i)) 下，搜索到累计概率 1−ε 的期望工作量为 W(ε) ≤ ⌈log(1/ε)/λ⌉ · max|Tᵢ|，与全语料大小无关。在 5M 记录、7 天为一分区时，实测 λ≈1.7，ε=0.05 下只需查 k*≈3 个分区。
实现栈：CPU 路径用 SIMD（AVX2）+ MaxScore + 8 线程；GPU 路径用 NVIDIA A100；dense 编码用 BGE-small；LLM 评判用 gpt-4o-mini 和 gpt-4o。
3. 核心技术贡献
- Workload-conditional fusion：把"用哪种 fusion / 跑不跑 dense"作为 per-query 决策，而不是系统级超参。这一抽象是后续两个收益的前提。
- BM25-margin 级联触发器：用 top-1/top-2 BM25 分差 Δ 做触发，无需训练任何分类器、无需特征工程，跨 workload 自适应。在 LongMemEval 上拿到 2.67× 提速，在 LoCoMo 同样的 trigger 自动选择 BM25-only 跳过 dense，拿到 132× 提速——同一组件，两套行为。
- 温度分区 + 期望工作量定理：把"近期记忆更可能被检索"这一经验事实形式化为可证明的 sublinear scaling，5M 文档对比顺序扫描达到 1769× 加速，且 corpus 增大 1234× 时延迟只增 3.6×。
- CPU SIMD + MaxScore + 多线程组合优化：让 commodity 8 核 x86 在 BEIR 上相对 Pyserini Lucene 8T 拿到 10× 几何平均提速，nDCG@10 仍在 ±0.020 内。
4. 实验结果分析
BEIR 检索质量（vs Pyserini Lucene 8T）：AgentIR BM25 在 5 个数据集胜出（TREC-COVID +0.051、ArguAna +0.077），4 个数据集差 0.003–0.020（FiQA/Quora/NQ/MS MARCO，源于 NLTK Porter vs. Lucene StandardTokenizer 差异）。RRF + BGE-small dense 相对 BM25-only 平均 +0.033 nDCG@10。
LongMemEval (n=500)：
- 基线 RRF+Recency：R@10=0.978，LLM-Acc=0.254
- TF-IDF Router：LLM-Acc=0.262，分类器开销 <<1ms
- TF-IDF + BGE：LLM-Acc=0.300（达到 gpt-4o 的 oracle bound）
- 单阈值级联（τc=0.10）：19.9ms vs 53.2ms always-hybrid → 2.67× 加速，准确率与 agent_rrf 基线持平，跳过率 63%
- 分 qtype 阈值（5-fold CV）：9.2ms 均值 → 5.76× 加速，准确率仍在 noise band 内；不同 qtype 最优 τ 差异大（multi-session 需要 τ≥120d，其他 <60d）
LoCoMo 自动调优：同一 trigger 自动落到 BM25-only，跳过率 100%，Hit@5 提升 +0.089，132× 加速——展示跨 workload 零重训迁移能力。
温度分区扩展实验（合成 80/20 recency）：4K→5M 文档时，sequential 159ms→延迟，temporal 仅 90µs，1769× 加速。
800 轮 session 模拟（Table 3）：sequential 459.2s 总耗时、75.5% step 超 200ms 预算；temporal partition 仅 0.43s 总耗时、p99=1.23ms、0% 超预算——这是 Agent 推理循环唯一能用的策略。
正确性验证：CPU vs GPU 在 8 个 BEIR 数据集上 nDCG@10 差异 ≤0.0002，top-10 集合在 1T/4T/8T 配置下完全一致。
消融（NQ, 2.7M）：scalar baseline 67.6ms → +SIMD 6.6ms (10.2×) → +MaxScore 4.2ms (1.6×) → +8T 1.4ms (3×)，累计 49×。
5. 局限与未来方向
作者明确指出的限制：
- Recency 假设依赖：温度分区只在指数 recency skew 下有效；对 flat 分布（LoCoMo 的单 session 查询）需要回退到非分区索引。
- Tokenization gap：NLTK Porter 词干化与 Lucene StandardTokenizer 在数字 ticker / 所有格 / 连字符上行为不同，导致 FiQA/Quora/NQ/MS MARCO 上 0.003–0.020 的 nDCG 损失。
- GPU 显存瓶颈：MS MARCO 8.8M 文档 k=100 时超过 16GB 单卡 batch，需要 multi-GPU sharding（未做）。
- Dense 编码本身是瓶颈：BGE-small CPU 编码 ~170ms，让 cascade gating 几乎是必需而非可选。
- Per-qtype 阈值需要标注：每类需要 50–100 条带 label query 做 5-fold CV，cross-corpus τ 迁移未验证。
- Trigger 简洁性的代价：BM25-margin-only 触发器可解释但可能错过 learned router 能捕获的特征；soft router 加上 <1ms 但需要部署侧标签。
6. 工业实践意义
对工业搜推团队的具体启示：
- Agent / 长程记忆检索可直接用 BM25-margin 路由：不需要训练任何 routing model，单纯 top-1 vs top-2 BM25 分差 + 一个阈值，就能在两类截然不同的 workload（LongMemEval / LoCoMo）上自动选出合适策略，2.67× 与 132× 的提速来自同一行代码。这是当前工业 RAG / Agent 链路最被低估的低成本收益。
- 温度分区适用范围：客服对话、电商搜索 session 记忆、广告短期意图——只要存在指数级 recency skew，分区索引就能拿到 1000× 量级提速。但商品搜索、问答库等 flat 分布场景不要硬上。
- 多目标 RL Agent 训练循环：每步 retrieval 必须 ≤10ms，AgentIR 的 cascade 是当前唯一被证明能保住 0% over-budget 的方案；如果你的 Agent 一步要调用 5–20 次检索，传统 Lucene/Elasticsearch 在 800 轮 session 上会 75% 超预算。
- CPU SIMD + MaxScore + 多线程：BEIR 上 10× 提速、质量在 ±0.020 内的工程组合，是 commodity 硬件部署的高性价比方案，相对 GPU 路径在中小 corpus 上有 cost/latency 优势。
- 部署注意事项：用 BGE-small 时 CPU encoding ~170ms 是端到端瓶颈，必须把 cascade gating 当作上线门槛而非可选优化；要对接 Lucene 历史数据时需要保留 StandardTokenizer 兼容路径。