1. 问题与动机

搜索 Agent 通常在 Thought—Action—Observation 循环里反复调用检索工具。已有工作把主要精力放在最终答案奖励或推理链形式上，却很少单独训练“中间查询是否值得搜、是否搜到了预期信息”。论文展示的典型失败是查询 birthdate of Kevin McCarthy：检索器返回同名政治人物，Agent 接受错误证据后整条轨迹偏航；只看最终答案对错，无法指出错误究竟发生在哪一轮搜索。作者据此把问题从“如何利用检索结果”前移为“如何产生高质量查询”。

现有 outcome-only RL 的奖励稀疏，正确答案可能来自含多个冗余或碰巧成功的查询，错误答案中也可能包含有价值步骤。已有过程奖励又多评价推理逻辑，没有同时检查查询新颖度、意图必要性与召回结果是否真的回答了本轮子问题。SmartSearch 的目标是给每轮查询细粒度信用，把失败节点改写后重放后续轨迹，再通过课程学习让 3B Agent 内化这种能力。四个知识密集型任务的结果支持这一动机：仅用结果奖励的 RL 方法平均 EM/F1 约 20.2–24.5/29.4–33.0，加入一般过程奖励的最强基线为 30.1/39.5，而 SmartSearch 达 37.5/47.2。

2. 方法详解

系统以 ReAct 为基本交互协议。第 t 轮策略模型根据完整历史生成 Thought 和查询 Action，检索器返回 Top-K 文档片段作为 Observation，直到模型输出最终答案。SmartSearch 在此之上增加“评估—改写—续跑”闭环。查询质量由三个原则组成：新颖度要求本轮结果不与历史轮次大量重复；意图必要性要求该查询确实推动原问题；召回相关性要求结果完整回答本轮查询意图，而不是只出现相关实体。

双层信用评估把前述原则拆成规则和模型两部分。规则项统计当前 Top-K 结果与此前所有轮次文档的内容重叠数，超过阈值即把新颖度记为 0。模型项把原问题、golden answer 和当前轨迹交给评分器，只有“查询意图必要”且“检索结果包含该意图的答案”时记为 1，并输出文字解释。总分是两个二值分数的逻辑与；解释则拼接两部分反馈。作者用 Qwen3-32B 生成标签，再监督微调 Qwen2.5-3B-Instruct 作为轻量评分与改写模型。100 条随机轨迹上，教师与人工标注重合接近 90%，学生与教师超过 85%，学生与人工超过 80%。

若某轮总分为 0，改写器读取原问题、该轮之前的轨迹和失败解释，重新生成本轮查询。冗余或无必要的查询会换成更可执行的子意图；召回没有目标信息时，可在完整语义问题与关键词查询之间切换，并增删限定词。随后 Agent 从改写点重新生成余下轨迹。论文案例把 birthdate of Kevin McCarthy 改成 birthdate of Actor Kevin McCarthy，检索结果由 1965 年出生的政治人物切换到 1914 年出生的演员，最终恢复正确答案。

训练分三阶段。第一阶段 Query Quality Screened Imitation Learning：ARPO-14B 采样轨迹，只保留最终答案正确、格式正确且所有中间查询均为高质量的样本，以 SFT 训练 Qwen2.5-3B-Instruct。学习率 7e-6、3 epochs、最大输入 16384 tokens、总 batch 64，使用 BF16、DeepSpeed ZeRO-3 和 FlashAttention2。该筛选只保留约 60% 数据，却优于按最终正确性筛选的全量轨迹。

第二阶段 Query Generation Alignment：从 SFT 模型轨迹中定位低质查询，逐点改写并重生成，形成只在查询质量上有针对性差异的偏好对。选择规则先看最终答案是否正确；同为正确时，低质查询更少者为正；同为错误时，高质查询更多者为正。随后用 DPO+LoRA 训练 3 epochs，学习率 7e-6、最大输入 10000、batch 32，并继续使用 ZeRO-3、FlashAttention2 和 BF16。

第三阶段 Query Aware Policy Optimization：选取采样四次仍未解决的难题，以改写和续跑替代完全独立的 rollout。奖励可概括为 最终答案奖励 + 过程项（奖励高质查询、惩罚低质查询） + 加权格式奖励，并对过程项设上下界，避免它淹没任务目标。训练学习率 1e-6，每题 8 个 rollout，总 batch 64，PPO mini-batch 16；训练时最大输出 8192 tokens、每条轨迹最多 5 次工具调用，推理时放宽到 16384 tokens 和 10 次调用。实验以 Qwen2.5-3B-Instruct 为策略模型，Asearcher-Base 为训练集；本地检索使用 2018 Wikipedia、E5-base-v2 和 Top-5，联网评测用 Serper API Top-10。

3. 核心技术贡献

第一，SmartSearch 把过程监督的对象从泛化的“推理步骤”具体化为“搜索查询”。规则型重复检测成本低且确定，模型型有效性判断覆盖语义，两者相与可减少单一 LLM judge 的漂移；同时输出自然语言诊断，使信用信号直接驱动查询修复，而不是只给一个不可操作的标量。

第二，论文不是把改写器作为线上外挂，而是用它构造 SFT 筛选数据、DPO 偏好对和 RL rollout，形成从模仿、对齐到泛化的统一课程。改写前后的轨迹共享同一前缀，差异集中在失败查询及其后续，因果归因比随机采样两条完整轨迹更清晰。

第三，轻量学生模型实现了可用的效果—成本折中。把评分器和改写器从 3B 学生换成 32B 教师，平均 F1 增益不足 1%，单样本处理时间却接近 5 倍；学生与人工标注仍有 80% 以上重合。因此工业系统可把复杂教师留在离线标注，在线或大规模训练数据处理中使用小模型。

第四，方法在纯 Wikipedia 本地检索上训练，却迁移到 GAIA 与 WebWalker 联网任务，平均 F1 为 23.9，对比 StepSearch 的 19.2 提升 4.7 个绝对点。这说明被内化的是查询形成与纠错模式，而非只记住固定语料。

4. 实验结果分析

主实验覆盖 2WikiMultihopQA、HotpotQA、Bamboogle、MuSiQue 四个知识密集型基准，以及 GAIA、WebWalker 两个开放网络探索任务。核心对比如下：

SmartSearch 相对四基准次优方法的平均 EM/F1 提升分别为 25%/19%。分数据集看，2WikiMQA 达 45.3/52.3，HotpotQA 40.7/52.4，Bamboogle 44.8/56.1，MuSiQue 19.1/27.8；最难的 MuSiQue 绝对值仍低，说明查询优化缓解但没有解决长链组合推理。联网场景平均 EM/F1 为 12.5/23.9，对 StepSearch 的 9.3/19.2 同样保持领先。

消融能区分三个阶段的作用。Stage 1 加入查询质量筛选后，平均 EM/F1 从 28.7/38.2 升至 31.7/40.9，而且只使用 60% 训练数据，表明轨迹纯度比数量更重要。Stage 2 完整模型为 33.5/43.2；去掉过程奖励为 32.2/41.8，去掉查询改写为 31.4/41.3，改写贡献更大。Stage 3 完整模型 37.5/47.2，去过程奖励为 35.1/45.1，去改写为 35.8/45.9，标准 GRPO 仅 34.8/44.7；两种机制联合比任一单独使用更稳定。

另一个值得注意的结果是准确率与效率同时改善。论文定义 Search Efficiency 为按搜索调用次数归一化的答案质量，SmartSearch 在该指标上优于全部基线；原因不是让模型多搜，而是减少无效和重复轮次。作者没有在正文表格给出平均调用次数与实际端到端延迟，因而只能确认相对效率趋势，不能据此估算生产 P95。

5. 局限与未来方向

论文没有独立 Limitation 章节，也没有在结论中系统列出未来工作。正文明确可确认的边界包括：训练检索环境是 2018 Wikipedia 与 E5-base-v2，开放网络只作为迁移评测；策略、评分与改写均围绕 Qwen 系列 3B/32B 验证；评分器训练输入包含 golden answer，这种监督在离线训练可用，但不能直接照搬到没有标准答案的线上流量；RL 训练每条轨迹最多 5 次工具调用，推理最多 10 次，超长研究任务尚未验证。

作者还没有披露 Asearcher-Base 的样本规模、各阶段最终保留轨迹数、训练硬件数量和总 GPU 时长，也没有线上 A/B、搜索 API 费用、P95 延迟或失败回退指标。二值评分把“部分有用”的查询压成 0/1，学生与人工仍约有近 20% 不一致；文档重叠规则也可能把针对同一来源不同段落的必要复查误判为冗余。论文未讨论检索结果中的提示注入、恶意页面和时效性冲突，这些是公开 Web 部署时不能忽略的安全边界。

后续最有价值的验证应包括：用无 golden answer 的自监督或弱监督查询价值估计替代离线 judge；在中文 UGC、实时索引和多检索器环境测试；把相关性、信息增益、来源可信度与成本做成多目标过程奖励；以及测试连续值信用是否优于当前二值逻辑与。

6. 工业实践意义

对社区搜索团队，最容易落地的不是完整复制三阶段训练，而是先做轨迹可观测。每轮记录原始 query、改写 query、Top-K 文档 ID、与历史结果重叠率、本轮意图、是否提供所需证据、耗时和最终任务成功。规则侧先上线重复检索检测与实体歧义检查；模型侧用小型 judge 对必要性和证据充分性评分。这样即使暂不做 RL，也能定位“推理正确但查询失败”和“查询正确但召回失败”两类问题。

训练数据构造可复用论文的局部反事实思路：从失败轮次开始改写，只重放后续，不必为每题重新采样大量完整轨迹。对同名实体、简称、地域词和社区黑话，可把改写目标设为补充实体类型、时间、地点或话题限定；若召回重复，则强制切换子意图或检索器。SFT 先筛掉含低质查询的正确轨迹，DPO 比较改写前后，确认离线收益后再用受限 RL 优化，风险小于直接对线上 Agent 做开放式强化学习。

服务时应保留成本护栏：简单 query 走单轮检索，只有证据不足或任务被识别为多跳时进入循环；配置最大工具调用数、总延迟预算、同域名/同文档重复上限和无进展停止条件。评分/改写学生模型可批处理或异步执行，32B 教师只做离线再标注。论文显示大模型带来的 F1 增益不足 1% 而耗时近 5 倍，这一结果支持优先把算力投入更好的召回与轨迹数据，而不是盲目扩大 judge。

上线评估除答案正确率外，应至少监控查询成功率、重复搜索率、每题工具调用数、有效证据覆盖、nDCG、P95/P99 延迟、API 成本和停止原因。对于 UGC 场景还要加入内容时效、作者可信度、同义词与实体消歧切片。最应避免的是把过程奖励等同于“多写思维链”：SmartSearch 的收益来自可验证的查询行为与召回反馈，过程监督必须落到真实工具交互上。