1. 问题与动机
搜索 Agent（基于 LLM 的多轮搜索系统）的评估面临三大根本性难题：(1) 动态过时——静态基准随网络信息积累发生「难度坍塌」（原本需要多跳推理的复杂问题变成简单检索），同时「事实漂移」导致标准答案过时；(2) 归因模糊——无法区分 Agent 是通过真实工具使用还是预训练记忆来解决问题，这使得搜索和推理能力的评估被混淆；(3) 成本-质量悖论——高质量基准需要昂贵的专家标注，而全自动合成数据又引入逻辑不一致和不可靠来源。
这些问题在 Agentic Search 快速发展的当下尤为突出。现有基准如 HotpotQA、NQ 等均为静态设计，无法防止数据泄漏，且依赖真实搜索引擎导致评估不可复现。此前的 BrowseComp 等动态基准虽然尝试解决部分问题，但仍受限于公共网络数据的可变性。
2. 方法详解
Mind-ParaWorld (MPW) 的核心思想是构建一个与模型训练数据「认知隔离」的平行世界，由三个相互关联的组件构成：
平行世界模型 (Parallel World Model): 基于 19 个领域的真实实体对（如体育、娱乐、科技等），生成设定在未来时间点的问题。每个问题涉及多个实体属性的聚合和约束条件判断，设计了从「显式独立子目标」到「隐式多跳依赖」的递进复杂度。每对实体生成 4 个问题，初始构建 500 对实体共 2,000 个实例。
平行世界定律模型 (ParaWorld Law Model): 将每个问题分解为「原子事实」(Atomic Facts)——不可再分的键值对，代表最小可检索信息单元（例如 "Bruno Guimarães 2027-28 犯规数" → "90"）。这些原子事实构成平行世界的「物理定律」，确保逻辑一致性。模型同时推导唯一标准答案并验证内部一致性。构建目标包括：一致性（无内部矛盾）、原子性与充分性（每个事实可独立检索且不可再分）、唯一性（标准答案在给定事实下唯一确定）。
平行世界引擎模型 (PEM): 替代真实搜索引擎。对 Agent 查询进行分类：原子查询（单实体+单属性）匹配到事实时返回 4 条 SERP 结果（至少 1 条包含事实值）；复合或低质量查询则返回主题相关但不含关键事实的结果。这一设计确保评估反映 Agent 的查询分解和规划能力，而非搜索引擎排序。
质量控制: 使用 Gemini 3 Pro 自动审核内部一致性、常识合理性和事实-答案一致性（独立验证 3 次），过滤掉 19.6% 的低质量实例，最终得到 1,608 个评估实例。按原子事实数量分为 Easy (1-5, 36.5%)、Mid (6-10, 38.5%)、Hard (≥11, 26.2%) 三个难度层级。
3. 核心技术贡献
(1) 认知隔离评估范式: 通过将关键事实置于模型知识截止期之后，强制 Agent 必须通过搜索而非记忆来获取信息，从根本上解决了数据泄漏问题。这比简单的时间过滤更彻底——即使模型见过实体本身，具体属性值也是全新的。
(2) 三层递进评估协议: Setting A (Oracle-Facts, 给完整事实测综合能力, 上界91%)、Setting B (Guided Search, 给查询指导测搜索能力)、Setting C (End-to-End ReAct, 全自主测完整能力)。这一设计实现了端到端失败的「阶段归因」——通过 Setting A 到 B 到 C 的性能差异，可以精确定位瓶颈在信息综合、查询构造还是搜索策略。
(3) 原子事实覆盖率 (FCR) 指标: 定义 FCR = |ℋ|/|ℱ|（命中的唯一事实键数/总所需事实数），量化了过程级别的搜索有效性。实验证明 FCR 与最终准确率呈近似单调关系，确立了覆盖率作为端到端性能主要驱动因素的地位。
(4) 反捷径机制: 只有良好分解的原子查询才能获得有效结果，复合或模糊查询只返回噪音，这迫使 Agent 展示真实的问题分解和规划能力。
4. 实验结果分析
| 模型 | Setting A (Oracle) | Setting B-FewShot | Setting C (ReAct) |
|---|---|---|---|
| Qwen3-32B | 91.04% | 35.26% | 18.35% |
| MindWatcher 32B | 87.81% | 47.51% | 38.56% |
| GPT-5 | - | - | 33.21% |
| MiniMax-m2.1 | 82.46% | 37.19% | 31.84% |
| Gemini-3-Pro | - | - | 18.41% |
关键发现 1: 证据综合 vs 证据收集的巨大差距。以 MindWatcher 为例，Setting A (87.81%) 到 Setting C (38.56%) 存在近 50 个百分点的落差，证明瓶颈不在推理而在搜索。
关键发现 2: 过早停止是主要失败模式。Qwen3-32B 平均仅发起 ~2.6 次工具调用，几乎不随任务难度增加而增加；Qwen3-30B-A3B 更低至 ~1.96 次。MindWatcher 相对较好 (~10 次)，但在 Hard 问题上 FCR 仍仅 21.8%。
关键发现 3: 搜索精度持续下降。GPT-5 的累积命中精度从首次的 0.32 持续下降到后续的 ~0.22-0.24；MindWatcher 从 0.31 降到 ~0.21。这说明模型无法基于已成功命中的查询模式来优化后续查询策略。
关键发现 4: FCR 与准确率的单调关系。跨 4,824 个样本的分析证明，FCR 越高准确率越高，且 Setting C 与 Setting A 上界的差距主要归因于证据获取管线而非推理缺陷。
消融分析方面，Setting B 中指导提示带来 10-15 个百分点的提升，证明查询构造能力是可教授的；不同模型对 Few-shot vs Guidance 提示的偏好不同，表明存在架构依赖的提示敏感性。
5. 局限与未来方向
作者明确指出的局限：(1) 平行世界虽基于真实实体但法则是人工构造的，需要在自然产生的搜索任务上验证结论；(2) 评估仅覆盖当代 LLM，对未来架构的适用性未知；(3) 固定 32 轮搜索上限可能不反映生产环境中的实际搜索模式；(4) PEM 的原子/复合查询分类系统是设计选择，可能需要人工评估进一步校准；(5) 尽管覆盖 19 个类别，基准仍聚焦于结构化事实性问题，对开放式或主观搜索任务的适用性不明。
一个作者未充分讨论的局限是评估中未涉及搜索 Agent 与真实搜索引擎的交互对比——PEM 的理想化搜索结果可能低估了现实场景中噪音结果对 Agent 的额外挑战。
6. 工业实践意义
最直接的启示是「何时停止」机制的重要性。实验揭示现有搜索 Agent 普遍存在过早终止问题，这对生产环境中的搜索 Agent 设计有明确指导意义：(1) 需要显式的证据充分性判断模块，而非依赖 LLM 的隐式决策；(2) 可通过 FCR 类似指标在线监控搜索过程的信息增益，在收益递减时自动停止。
评估框架的可复用性。MPW 的认知隔离思路可直接应用于搜索系统的 A/B 测试——通过合成超出训练数据的查询来测试模型是否真正使用了检索结果。这对 RAG 系统的评估尤为有价值。
查询分解能力的重要性。Setting B vs C 的差距说明，在搜索 Agent 中增加显式的查询分解模块（而非端到端生成查询）可能带来显著收益。这与搜索系统中 query understanding/rewriting 的经典实践相呼应。
部署考量: 19 个领域 1,608 实例的基准规模适中，评估成本可控。三层评估协议可用于搜索 Agent 的分阶段调优——先在 Setting A 确认推理上界，再在 Setting B 优化查询生成，最后在 Setting C 端到端验证。MindWatcher 32B 级别模型在 Setting C 达到 38.56%，说明当前最优搜索 Agent 在复杂多跳场景下仍有很大提升空间。