← 全部深度解读
📖 深度解读 · AGENTIC

SEEDS: Preview-Guided Evidence Admission for Search Agents

Jiajin Liu, Chenxi Xu, Dongzhe Fan, Yuanfu Sun, Qiaoyu Tan · arXiv 2610.12932 · 发表 2026-10-12
10 分钟阅读时长 3847字 4.40综合分 第 1 名10-13 Agentic 日报
目录 · 6 节1问题与动机2方法详解3核心技术贡献4实验结果分析5局限与未来方向6工业实践意义
相关 5新颖 4实用 4证据 4时效 5
UGC搜索中的高排名帖子不一定包含当前推理步骤需要的证据,可在召回后增加预览选择层,允许保留低排名但补充关键信息的帖子。应同时记录答案正确率、全文读取量和预览开销,并以固定前缀与自适应前缀作对照,检验收益是否来自更好的证据组合。

原文:https://arxiv.org/html/2610.12932 。以下依据正文第3—5节及附录B、C、E;实验数字均为作者报告,工业建议为本报告的迁移分析。

1. 问题与动机

搜索智能体每轮可以获得一批候选,但召回相关性与当前推理所需的证据并不完全一致。现有系统常把前k篇全文直接放入上下文;即使动态调整k,也仍只能选择排名前缀。一个低排名片段可能恰好说明缺失的桥接关系,而高排名片段可能只是重复已知信息。论文据此将“什么被检索到”与“什么可以进入推理状态”分开,提出证据准入问题。

该问题不是单纯缩短上下文。正文比较中,ReAct读取前10篇的平均EM只有35.3,反而低于读取前3篇的37.5;动态前缀为36.9。作者的解释是更多全文会引入无关或误导信息,并消耗后续推理预算。SEEDS希望在不读取全部候选的前提下获得足够线索,让智能体主动决定阅读全文的对象与数量。它承接ReAct和Search-o1的多轮搜索循环,并将控制粒度从“是否检索、检索几篇”推进到候选子集选择。

2. 方法详解

每轮先根据问题、已有推理和已接收证据生成检索查询,检索器返回K个排序候选。随后为每个候选构造预览,本地语料使用文档标题加上查询关键词重叠最多的局部文本窗口;在线网页使用搜索引擎返回的标题和摘要。预览生成只依赖当前查询与文档,选择策略才依赖完整的推理状态。这样能区分检索接口提供的信息与模型根据任务进展作出的判断。

准入策略接收历史状态H和预览集合P,输出候选子集E;E可以是不连续的排名,也可以为空。系统只对E执行展开操作,将对应片段或网页全文加入证据集合,然后继续推理与下一次检索。实现伪代码是:生成查询;取回候选;建立带稳定ID的预览;选择ID集合;校验ID;展开选中项;加入历史;判断是否继续搜索。无需先更换底层编码器,也无需训练即可通过提示接入既有推理模型。

主实验使用QwQ-32B,每轮K=10,本地预览约60个token。语料为2018版Wikipedia,检索器为E5;在线搜索使用Serper,网页读取使用Jina Reader。作者分别在ReAct和Search-o1上实例化SEEDS。前者直接读取选中的证据,后者保留其文档内推理机制,因此两条路线的绝对文档消耗不能混为一谈。

附录还给出可训练的SEEDS-R1。教师QwQ-32B生成1000条合格轨迹,划分900训练、100验证;学生为Qwen2.5-7B-Base。监督损失只计算动作和答案token,指令及环境返回全部遮罩。AdamW的学习率为1e-5,batch为16,最大长度8192,训练5轮并按验证EM选择,而不是按最低验证损失选择。验证EM从0.14升至第1轮0.49、第5轮0.53,协议合规率至少0.96。

随后PPO训练使用NQ的79168与HotpotQA的90447个问题,共169615个;两张H200运行500次更新,报告450步检查点。batch/mini-batch为256/128,actor学习率5e-7、critic为1e-5,critic先单独预热10步。最终答案EM提供0/1奖励,首次展开正证据奖励0.15,展开负证据惩罚0.05;仅答案错误时,对预览可见但未打开的正证据扣0.15。辅助贡献截断到正负0.6,并施加0.01的KL惩罚。HotpotQA按支持文档标题标注正证据,避免不包含最终答案的桥接文档被错误惩罚。

3. 核心技术贡献

第一项贡献是把准入定义为状态条件下的任意子集动作。动态前缀只改变数量,无法跳过无用高排名项;SEEDS允许跳过和跨排名选取,适合在多轮中寻找新增而非重复的事实。正文统计中,SEEDS-ReAct和SEEDS-o1分别有44.1%和39.6%的所选文档位于同等大小的排名前缀之外,约80%的搜索轮次偏离该前缀。这直接支持“选择组成发生变化”,而不只是预算缩小。

第二项贡献是用低成本预览打破先读全文才能判断的循环。查询窗口由确定性关键词匹配产生,不需要额外摘要模型;完整证据只有在准入后才进入推理。相对多轮MAIN-RAG,SEEDS-ReAct平均EM从38.7升至41.6,读取文档从11.0降至3.1。效率收益来自证据层面的选择,而不是要求检索器减少候选或彻底改写检索排名。

第三项贡献是把选择过程纳入学习,同时保护环境观测完整性。奖励只解析带环境观测遮罩的内容,模型生成的文本不能伪装成检索证据。如果已解析信息块与合格展开动作不一致,辅助奖励作废,但保留最终EM奖励。这个设计防止策略通过格式投机提高选择得分;它也表明训练目标需要区分真实外部信息、模型动作和模型陈述。

4. 实验结果分析

本地六个问答集合的宏平均结果如下,数值来自正文表1;EM、F1均为百分数,文档数为每题平均全文展开次数。

方法平均EM平均F1全文文档数
ReAct,k=337.547.07.7
ReAct,k=1035.344.414.9
ReAct,动态k36.947.87.7
MAIN-RAG,多轮38.748.611.0
SEEDS-ReAct41.651.83.1
Search-o142.553.030.2
SEEDS-o143.353.712.6

SEEDS-ReAct对动态k提高4.7个EM点,全文阅读减少约60%;对前10篇策略提高6.3点,阅读减少约79%。SEEDS-o1的准确率增益较小,但全文消耗减少约58%。附录显示Search-o1与SEEDS-o1的平均检索次数几乎一样,为3.02和3.03;因此这条路线主要是每次搜索读得更少,不是搜索轮次更少。

在线三个基准BrowseComp、BrowseComp-zh、HLE的平均准确率从9.28提高到11.78,页面数从27.81降至8.30,约减少70%。但必须查看分任务指标:HLE准确率从10.34提高到13.79,F1却从10.60降至6.66。论文并未证明所有指标都同步改善,不能只报告平均准确率后宣称全面领先。

预览消融也呈现明显异质性。附录表7中,查询窗口在TriviaQA得到69.6,标题预览为67.2;在2Wiki中查询窗口只有31.2,30-token前缀为39.2。作者明确没有发现始终最优的预览表达,长度增加也不单调提高准确率。采用查询窗口的理由是紧凑、查询相关且无需额外摘要模型,而不是它在每个集合上最高。

噪声测试保留答案证据,只用同主题干扰文档替换部分非答案候选。80%替换时,动态k的EM从36.9降到33.4,SEEDS-ReAct从41.6到42.9,进入上下文的注入干扰占7.3%。这个设置支持选择层能跳过干扰,但不测试真正相关文档被漏召回的情况。更换DeepSeek骨干后,HotpotQA和2Wiki分别比Search-o1高1.0、1.2点,NQ反而低1.4点;HLE准确率持平,但读取页面从22.9减至12.9。训练版平均EM从37.1升到39.3,作者将其定位为初步结果。

5. 局限与未来方向

正文没有独立的Limitations章节,局限需从作者在分析与附录中的明确陈述提取。附录C强调“文档包含答案字符串”只是代理指标,并不等于证据充分;它可能漏掉不含答案的桥接片段,也可能把无关提及当作正确证据。关于非前缀选择与证据命中率的解释必须保留这项限制。

作者同时说明文档token消耗排除了提示、预览、推理与输出,因此这些节省数字不等于总token或端到端延迟下降。候选池从5增至20时,准确率整体较稳,但HotpotQA在20个候选时下降;预览形式和长度没有统一最优方案。可学习准入还存在数据集间收益不一致,更有效的训练策略被作者列为开放方向。

本报告额外指出,噪声测试始终保留答案证据,不能覆盖真实UGC搜索中的漏召回、陈旧事实或恶意提示注入。论文没有社区业务线上A/B结果,无法据此确定nDCG、CTR以及中文短文本场景的收益。这些是迁移边界,而非作者已完成的验证。

6. 工业实践意义

对于社区UGC搜索,最值得先试的是低风险的召回后预览层。保留现有召回与排序,给复杂问答分支返回标题、查询相关窗口、内容ID和原文地址,由智能体按当前缺失信息选择全文展开。普通单轮搜索可以继续直接使用排序结果;需要多帖综合证据的查询才使用额外选择,以免所有请求都承担新的模型调用开销。

验证应以相同检索池、相同模型及相近阅读预算比较固定前缀、动态前缀和任意子集三种策略。分别测答案事实正确性、引用覆盖、桥接关系发现率、全文读取数、总token、p50/p95延迟;nDCG和CTR作为真实业务目标另外测量。不要把“读的全文减少70%”直接写成“成本下降70%”,因为预览选择和推理仍需付费。

工程上应校验展开ID只能来自本轮已返回候选,缓存重复帖子,并把权限检查放在全文展开接口。记录每轮为何选取某帖、是否引入重复信息以及未选帖子中是否存在关键证据,才能诊断预览不充分还是选择策略失误。若短帖子全文本来只有几十个token,预览可能没有足够节省空间,应通过长度分桶决定是否启用。

需要训练时,可以先复现作者的动作与观测遮罩,再试步骤选择奖励。社区证据标签不能简单依靠答案字符串,尤其多帖推理应额外标注桥接帖与支持关系。最终接受标准应是留出话题上的业务收益与成本预算同时成立;这篇论文提供的是可插入Agent搜索流程的技术设计与离线证据,尚未给出可直接照搬的线上收益承诺。

← 全部深度解读 出现于报告:2026-10-13 · Agentic #1 (4.40) 原文 ↗