1. 问题与动机
SOAR 研究搜索智能体中的“证据编造”：模型虽然进行了检索，却在推理或回答时使用检索材料未提供的事实，甚至凭内部知识碰巧给出正确答案。作者强调，这与最终答案错误不是同一个指标。Search-R1 的总编造率为 16.08%，其中答对样本仍有 7.57% 编造；只给正确答案奖励，会把这些偶然成功也当成值得强化的轨迹。
论文把原因定位为单一推理轨迹的来源不透明。内部参数知识和外部文档混在一起，使正奖励无法区分可靠检索与捷径，负奖励也无法区分内部知识缺失与外部证据整合失败。相比静态 RAG，强化学习搜索 Agent 会在训练中主动优化这种捷径，因此奖励设计的问题会反过来改变检索行为。SOAR 希望把来源变成可观察的动作和记录，让训练能辨别模型究竟依赖了什么。
这里的“忠实”含义是回答依赖所声明的信息，并不意味着该信息一定真实。对社区 UGC 搜索，这一区别尤其重要：用户帖子可能写错、过时或互相矛盾，即便引用忠实也不能自动认定结论正确。论文的技术起点是改善来源归因，再评价回答能力。
2. 方法详解
框架建立在 GRPO 上。每个问题产生若干推理轨迹，模型可先思考、提出原子搜索问题、观察信息、声明来源，再生成答案。它使用 <think>、<search>、<information>、<information_source> 和 <answer> 等标签约束交互格式。检索材料与内部知识分别进入结构化的信息槽，模型需要在两类信息之间显式判断，而不再把一段无来源推理直接当作证据。
关键模块是上下文隔离的内部知识提取。对于一个原子查询，外部 E5 检索器返回相关文档；同时，用同一个策略模型在新上下文中回答该原子查询。新上下文只包含固定的中性提取提示和当前查询，删除已经形成的推理轨迹。作者认为这样能降低“为当前推理补故事”的污染，使内部知识成为可以单独检查的信息流。随后将内部回答和外部文档同时呈现给主 Agent，由其判断继续搜索还是采用某个来源。这里的双流并没有引入独立的知识编码器，内部流本身仍是模型生成的文本。
奖励包含三个部分：答案精确匹配、协议格式合规、来源一致性匹配。附录 D 给出的实现形式是 R = R_ans + 0.2 × R_fmt + 0.1 × R_mat，之后进行归一化。答案正确性使用解析出的最终回答与标准答案匹配；格式奖励由标签规则判定；来源奖励检查回答是否与其声明的信息流一致。默认采用精确匹配验证以控制训练成本，并在附录比较模型裁判版本。正文公式把系数写进子奖励，附录又把系数放在求和前；复现时应以实现或附录定义为准，避免重复乘系数。
训练使用 veRL，骨干为 Qwen2.5-3B、3B-Instruct 与 7B，在单机 8 张 H200 上运行 3 个 epoch。全局批量为每步 256 个问题，学习率为 5×10^-7，线性 warmup 比例 0.285；每个问题采样 5 条 rollout，温度为 1.0。环境最多允许 5 次搜索，每次取 top-3 文档。训练集结合 NQ 与 HotpotQA 的训练划分，覆盖单跳和多跳问题；本次已读取的超参数段未明确给出优化器名称与总更新步数，不能补填常见默认值。检索语料为 2018 年 Wikipedia，主检索模型是 E5-base-v2。
可以按以下顺序实现简化原型：接收问题，生成原子查询；分别调用检索与隔离的内部提取；给两路文本加来源标签；让 Agent 选择、引用或继续检索；最后计算答案、协议和来源三个奖励。要保持检索预算与基线一致，记录内部提取新增的 token 和时间，再开展训练对比。
3. 核心技术贡献
第一项贡献是把参数知识显式化。以往只有工具调用的外部观察被记录，模型的内部猜测难以追踪；SOAR 将其变成查询条件下的独立文本，形成对称的信息接口。训练便能比较“使用外部材料”和“采用内部推断”的不同路径。单独保留这项工作流时，编造率已经从 Search-R1 的 16.08% 降到 6.75%，说明结构化干预本身具有作用。
第二项贡献是奖励来源与内容的匹配，而非只奖励答案。加入完整来源奖励后，编造率进一步降到 4.05%；答对组从只使用工作流时的 2.75% 降到 1.34%。这说明它确实触及了“碰巧答对但理由不成立”的情况。对于搜索系统，最终答案命中与证据链可靠性应是独立目标，这比增加一个泛化的“请不要幻觉”提示更可检验。
第三项贡献是将来源监督与搜索行为变化关联起来。论文观察到训练早期外部检索频率上升，随后约稳定在每个问题 1.6 次调用；模型不再在证据不足时立即用内部知识补全。这个频率是该设置的实验观察，不是系统上线应采用的固定目标。业务上应判断新增调用是否解决真实证据缺口，并同时考察延迟及检索预算。
4. 实验结果分析
主实验覆盖 NQ、TriviaQA、PopQA、HotpotQA、2Wiki、Musique 与 Bamboogle，指标为 Exact Match。作者重实现多个公开搜索 Agent 基线，但 AdaSearch 使用其论文结果，因此不是所有对比都来自完全相同的重跑。以下数字来自正文及附录 G 的可读取表格；HTML 的主表 1 存在 nicematrix 占位，不据此补造未显示单元格。
| 3B 方法 | 七项基准平均准确率 | 每推理轮平均输出 token |
|---|---|---|
| Search-R1 | 0.372 | 408.4 |
| AutoRefine | 0.386 | 415.9 |
| CoDA | 0.365 | 745.2 |
| IKEA | 0.382 | 396.7 |
| SOAR | 0.414 | 431.0 |
SOAR 相对 AutoRefine 的准确率增益为 0.028，约 7.25% 相对提升，与摘要约 7.3% 的口径一致；相对 Search-R1 则高 4.2 个百分点，不能把两者混写。7B 正文给出平均 0.448，对比 AutoRefine 的 0.425 与 IKEA 的 0.402；相对最强基线提升约 5.4%。Bamboogle 的 7B 数字由 0.346 到 0.453，说明较难的多跳任务是重要收益来源。
| 3B 多跳消融 | HotpotQA | 2Wiki | Musique | Bamboogle | 平均 |
|---|---|---|---|---|---|
| 完整 SOAR | 0.378 | 0.419 | 0.187 | 0.346 | 0.333 |
| 去掉来源一致性奖励 | 0.364 | 0.388 | 0.192 | 0.333 | 0.319 |
| 同时去掉工作流与奖励 | 0.359 | 0.369 | 0.160 | 0.289 | 0.294 |
移除奖励使平均下降 1.4 个百分点，再移除工作流降到 0.294，完整配置与双移除相差 3.9 个百分点。不过 Musique 上去掉奖励的 0.192 高于完整模型的 0.187，正文所称“所有多跳基准都最高”并不严格符合表 3。平均收益不等于每个数据集都获益，复现应保留逐任务结果。
| 方法 | 答对组编造率 | 答错组编造率 | 总编造率 |
|---|---|---|---|
| Search-R1 | 7.57% | 24.14% | 16.08% |
| 仅工作流、无来源奖励 | 2.75% | 10.79% | 6.75% |
| SOAR | 1.34% | 6.92% | 4.05% |
总编造率相对下降 74.81%，但答错组仍有 6.92%，并未消除错误。图注和介绍有约 4.2% 的数字，正文及表 4 是 4.05%；本解读优先使用可明确定位的表格口径。自动裁判在本次正文中为 GPT-5.6-Sol，任务是判断是否依赖给定信息，而不是判定最终答案正确。作者随机抽查 200 项裁判判断，与人工一致 197 项，即 98.5%；这是抽样一致性，不能理解为所有未来场景中的裁判准确率。
附录的四个随机种子实验给出平均 0.4187 对 0.3713，平均标准差分别较小；它与单次主结果 0.414 对 0.372 是不同统计口径。扩展实验中，ASQA 的 F1 从 66.5 到 68.5，WebWalkerQA 平均准确率从 21.1 到 25.2。后者采用在线搜索而不是离线 Wikipedia，说明存在初步跨环境证据，但绝对正确率仍有限。
5. 局限与未来方向
作者在局限章节明确指出，主要训练和评价依赖静态、质量较高的 Wikipedia，不能全面代表开放网络的剧烈变化。虽然附录提供在线搜索验证，但恶意错误信息、高度非结构化网页及互相冲突的来源仍需要更强测试。伦理章节也指出，模型可能继承语料的偏差、不准确与不完整信息。
从本次正文核查还能看到两点需要谨慎。来源匹配不等于事实核验，内部生成文本也不天然是真正的参数知识；上下文隔离只降低一种污染方式，不能提供知识正确性的保证。另外，默认精确匹配验证适合短答案问答，但社区长回答、同义改写与多来源综合需要更细的支持关系检查。这是面向业务的推断，区别于作者已完成的实验。
论文若干结果口径和 HTML 表格渲染存在差异，因此复现应固定版本、从原始实现或 PDF 确认奖励定义及主表数字，而不能只复用摘要中的百分比。本解读没有把缺失表格、优化器或总步数填成猜测值。
6. 工业实践意义
最值得直接借鉴的是来源可观察性：为社区搜索回答保留问题分解、检索结果、所采用片段、内部假设与最终引用，分别评估答案与支持关系。可先在复杂、需要多跳证据的查询上做冻结模型原型，把需要进一步检索的缺口显式暴露出来；再决定是否用来源奖励训练小模型。短查询排序仍应以 nDCG 和 CTR 为主要目标，论文没有提供这两项线上指标，也没有生产 A/B 结论。
成本方面，3B 每轮输出 token 从 408.4 到 431.0，增加约 5.5%。作者通过压缩内部信息、并行内部提取与外部检索降低开销，并称峰值显存没有增加；这不能直接推出单请求延迟不变，尤其在单 GPU 或网络检索环境中。应测量整条轨迹 token、检索次数、P50/P95 延迟及并发吞吐，而非只复用每轮数字。8 张 H200 的训练配置也意味着它不是无成本的小改动。
一个可执行试点是建立社区查询测试集，按单跳、多跳、时效冲突与证据缺失分层。先比较现有检索问答与双流来源工作流，保留相同 top-k 和最大轮数；由人工标注引用是否支持回答，检查答对但无依据的比例。随后再测试来源奖励是否改善这些具体失败，同时设置工具调用预算和停止条件。若收益主要来自更长轨迹，应进一步检查在等时延或等预算条件下是否仍成立。
对于被修改或删除的帖子，要在证据流中保留版本和时间信息，避免来源正确但事实过时。结合本次日报的时序记忆与输出契约研究，可以把状态更新、结构化格式与引用检查加入同一回归集。这样 SOAR 提供的机制才有机会转化为社区搜索的可靠性提升，而不是一个离线问答分数。
正文来源：https://arxiv.org/html/2610.13157 。重点依据：第 3 节、4.1–4.5、局限章节、附录 C/D/F/G；本地正文快照见 evidence/2610.13157.html。