1. 问题与动机
Harness-Search研究的是长程搜索中三种容易被混淆的决定:下一步查什么、哪些证据应该保留、什么时候已经足以回答。作者把单个策略同时控制这三项决定称为权限耦合。即使Agent可以使用搜索、阅读和外部记忆,仍会重复探索已经解决的方向,把有用材料埋在交互历史里,或者在证据尚未形成完整链条时停止。论文用“找到诺贝尔奖得主及其博士导师”的例子说明:检索持续围绕获奖名单和传记,真正未解决的导师关系却没有得到关注。
因此,本文的动机并非简单增加Agent数量,而是让搜索决策受到明确的证据状态约束。它延续ReAct、IRCoT等交错推理与检索方法,也借鉴Harness-1和MemHarness的执行框架。区别在于,记忆并不只是保存历史的容器,停止也不是策略发出end就立即结束。结果需要独立检查,错误的局部决定才不容易沿着后续轨迹扩大。对社区搜索,跨帖证据拼接、别名消歧和不同观点核验都是这一问题的具体实例;这属于业务迁移判断,论文没有报告社区线上实验。
2. 方法详解
共享工作记忆包含五部分:原始查询q、已经遇到的全部文档候选池P、准备供答案生成使用的精选证据C、当前检索方向I,以及记录已探索、失败和未解决方向的进展账本L。精选证据必须来自候选池,大小不能超过容量B。保留“遇到过什么”和“最终准备使用什么”两个集合,可以分别诊断发现失败与保存失败。
检索策略每轮提出search、read、redirect、curate或end中的一个操作。这里有两个硬约束:同一阶段达到最多S次搜索后,下一步必须整理证据;整理之后只允许重定向或请求结束。默认S=5、总策略轮数T=40、证据容量B=60。这些限制由执行层施加,不依赖模型在提示中记住规则。search和read的返回先由记忆操作员去重并提交到候选池,文档相关性判断器为材料生成相对于原查询的注释;redirect则由方向规划器生成新方向,同时更新账本。策略只能提案,不能绕过记忆操作员直接修改持久状态。
终止审核员只在收到结束提案后工作。它尝试从精选证据构造答案,检查覆盖、依据和逻辑连贯性,而不只是给单篇文档打相关分。结果为answer_ready或search_more;后一种结果把缺失事实或缺少支持的连接写回记忆,并强制下一步重定向。可以把核心循环实现为:渲染有界状态→策略提案→检查动作是否允许→操作员验证并提交→若提案结束则审核→不足时把缺口变成新的搜索目标。
论文主要结果使用未经任务训练的GPT-OSS-20B,三个角色采用相同骨干,因此不是依靠更强的辅助模型来解释主比较。附录报告单节点8张80GB H100,策略、稠密检索器与重排器共享机器;Ubuntu 22.04.5、Python 3.11、PyTorch 2.6.0和Transformers 4.57.6。每轮最多生成2048 Token,总上下文32768 Token,仅保留最近五对完整动作和观察。策略采样温度1.0、方向修订0.2,参考及总结判断器采用确定性解码。主推理方法不需要优化器;这与后续可选SFT应分开理解。
SFT使用GPT-5.5在SEC训练查询上的交互作为教师数据。181个查询产生1132个响应级样本,分为610个策略、299个记忆、223个审核样本;过滤非法格式、违反强制动作、失败工具调用和未提交操作。三个角色分别训练GPT-OSS-20B,目标是只在当前教师响应Token上计算自回归交叉熵,不把输入状态也作为预测目标。作者用ms-swift进行全参数训练,3个epoch、BF16、学习率2×10^-5、预热比例0.1、每角色有效batch为2、随机种子42。所读配置没有明确列出优化器名称,复现时需要进一步查看发布配置,不能补写为已证实的AdamW设置。
3. 核心技术贡献
第一项贡献是用权限边界组织证据生命周期。提出搜索动作不等于有权把材料提交给答案;结束提案也不等于获得结束许可。这让文档标识验证、证据去重和缺口反馈成为明确执行步骤。在BrowseComp-Plus中,去掉记忆操作员使Recall从57.81降为44.74,损失13.07个百分点,说明仅“搜到”材料不足以确保后续利用。
第二项贡献是把检索方向管理与强制整理检查点连接起来。最多五次发现操作之后需要curate,随后重新选择方向或审核结束。与把所有工具自由暴露给一个策略相比,执行层约束阻止同一路径无限延长;方向规划器移除后Recall降至52.58,差5.23个百分点。实际应用可以把未满足的查询约束记录成显式字段,而不是依赖越来越长的自然语言历史。
第三项贡献是以答案合成为终止检验。审核不是检查文档数量,而是尝试把当前材料连接成可支持的答案。去掉审核员后Recall为52.07,损失5.74个百分点。单Agent获得结构化工具时Recall为54.40,给单Agent三角色提示时为55.35,都没有达到完整方法57.81;这支持权限组织的作用,但并不意味着增加角色在任何业务中都会更好。
4. 实验结果分析
评测包括四个证据检索基准BrowseComp-Plus、Web Synthetic、SEC Filings和LongSealQA,以及三个答案生成基准HotpotQA、2WikiMultiHopQA、Musique。检索指标分为最终证据Recall、直接支持答案的Final-Answer Recall,以及整个轨迹发现过的Trajectory Recall。三者衡量不同阶段,不能把轨迹发现率当作最终答案依据保存率。问答另外报告EM和Token级F1。
下表取自主文表1的GPT-OSS-20B同骨干比较,均为最终精选证据的Recall百分数;不同数据集最强基线不同,因此要逐列比较。
| 方法 | BrowseComp-Plus | Web Synthetic | SEC | LongSeal |
|---|
| ACM | 29.89 | 40.41 | 21.91 | 84.38 |
| Harness-1 | 27.07 | 52.00 | 17.13 | 52.88 |
| MemHarness | 25.43 | 37.24 | 21.18 | 64.04 |
| Harness-Search | 57.81 | 62.19 | 37.97 | 88.98 |
相对这组基线,每列提升分别为27.92、10.19、16.06、4.60个百分点,不能写成相同比例的相对增长。最终答案证据Recall的提升范围是12.34至30.13个百分点。值得注意的是,Web Synthetic的Trajectory Recall为70.03,而Harness-1为70.92,完整方法没有在每一项发现指标都占优。最终材料质量更高而整体发现率接近,恰好说明筛选和保留也贡献了收益。
问答结果同样有层次:GPT-OSS-20B的Harness-Search在HotpotQA为48.5 EM、61.3 F1;2Wiki为45.9 EM、52.9 F1;Musique为24.0 EM、31.4 F1。ACM对应F1为55.3、41.2、30.2,最后一个数据集增幅较小。Qwen3-8B版本不应与20B结果混报,其F1分别为52.2、44.7、25.2,论文只称与相近规模训练型检索模型具有可比表现。
消融表5给出成对bootstrap区间。完整方法相对移除记忆组件的差值为13.07,95%区间[10.71,15.43];相对移除审核组件为5.74,区间[3.52,7.90];移除文档相关性判断器损失4.83,区间[2.78,6.86]。这些是完整系统与缺失组件的比较,不代表组件单独工作的性能,更不能把各损失相加解释为总贡献。
审核拒绝也不保证补齐证据。在1667次确实缺少金标准文档的拒绝事件中,后续搜索仅347次找到至少一篇新的金标准文档,约20.8%;其余1320次没有恢复。另有1277次拒绝前所有金标准文档已经被发现。这说明审核可能改善证据整理或逻辑检查,也可能造成额外循环。工程评估应分别统计真实缺口、错误拒绝与后续恢复,而非仅统计审核调用次数。
SFT后的四个检索Recall为65.12、75.34、46.57、90.21,较未训练版本增加7.31、13.15、8.60和1.23个百分点。训练改善跨域结果是积极信号,但训练样本来自SEC,尚不是UGC场景适配证据。重复实验里不同种子的BrowseComp-Plus均值58.10、标准差3.26,同一种子的重复运行标准差1.32,长轨迹的不确定性仍然需要多次运行验证。
5. 局限与未来方向
论文没有独立的通用“局限”章节,不能据此编造作者承认的条目。正文和附录明确暴露的限制包括:审核拒绝之后大量事件仍无法恢复缺失证据;多轮生成随机性会积累为不同轨迹;性能对辅助角色模型选择敏感。作者固定策略后替换记忆和审核模型,两个辅助角色使用Qwen3-32B时Recall达到66.60,提示完整系统不仅依赖执行结构,也依赖辅助模型能力。
成本也是论文自己报告的取舍。交互覆盖实验中Harness-1消耗约230K Token,Harness-Search约260K,覆盖度从56.25升至65.57;额外约13%的Token换来覆盖收益,不能描述成免费改进。本文没有给出社区搜索CTR、在线nDCG或真实用户A/B,因此工业效果仍需验证。作为读者补充判断,还应检验噪声UGC、同名实体、矛盾帖子及恶意内容对相关性判断与审核的影响;这些是迁移中需要测的问题,并非原文实验结论。
6. 工业实践意义
对社区短文本搜索,最容易先采用的是证据状态管理,而不是照搬8张H100的实验服务:持久保存原始查询、约束列表、候选文档ID、精选证据和失败方向,把全文放在外部存储;给模型展示紧凑状态和最近观察。帖子通常短,但多帖合并后上下文仍会膨胀,需要去重、时间戳和来源追踪。应保持可回到原帖的标识,审核发现缺口时能直接驱动新查询。
第二个可行动步骤是让终止显式化。对于比较、事实核验、跨帖多跳问题,要求答案包含关键事实对应证据,并在预算内尝试验证连接。可以先部署一个较小的最大轮数和整理间隔,观察审核带来的答案依据覆盖与错误拒绝;论文默认40轮不是在线社区搜索的合理默认值,平台需要自己的延迟预算。普通导航和短关键词搜索仍应通过原有召回排序路径,复杂问答可作为选择性能力。
第三个步骤是分阶段测量。离线同时记录遇到的正确证据比例、最终保留比例、答案事实正确率、nDCG、输入输出Token与P95延迟,才能判断瓶颈在检索、记忆还是合成。线上试验再看CTR及用户任务完成情况;该论文没有线上A/B结果可直接迁移。若记忆整理收益最大,可先实现结构化状态和证据提交,之后再评估独立审核是否值得额外调用。
最后,使用SFT时应遵循响应级轨迹筛选,不把失败工具操作、未提交动作和无依据的终止判断当作正例。训练、检索索引与审核服务都要有独立版本,预算耗尽时返回已有证据与未解决条件。该建议来自方法机制与实验失败分析,目的在于让增量检索能够被测量和复核,而不是承诺论文分数一定转化为社区业务收益。
来源:论文全文,主文表1、表2、表3/4、表5及附录C、D。