EMBERS: Empirically Motivated Robustness Testing of Deep Research Systems via Defect-Guided Fuzzing

Shuochuan Li, Zan Wang, Dong Wang, Yuhang Jiang, Huajin Cui, Chen Zhang, Gang Wang, Junjie Chen · arXiv 2611.03723 · 发表 2026-11-01
12 分钟阅读时长 4449字 4.30综合分 第 6 名11-05 AI Search 日报
目录 · 8 节1一个问题,换种问法就答错2先看清错在哪一步3EMBERS 的流程:从答对的题出发改写4结果:同样 24 小时,找到的失败多得多5测试产生的轨迹还能拿来训练6我认为它的局限7搜索团队可以怎么试8结论
相关 5新颖 4实用 4证据 4时效 4

Deep Research 系统会把问题拆成子问题、反复上网搜索、再汇总作答,问法稍一变化,前面的小偏差就可能一路传下去,最后答错。作者分析了三个代表性系统的 1,932 条执行轨迹,归纳出九类反复出现的缺陷,分布在拆子问题、在线搜索和最终推理三个阶段。作者据此做了测试框架 EMBERS(缺陷引导的模糊测试),它从系统本来答对的问题出发,针对这些缺陷改写问题或中间的搜索输入,同时核对改写后问的还是同一件事。在同样 24 小时的测试预算下,它找出的失败用例是最强基线 DR-Arena 的 3.21 倍。测试中产生的执行轨迹拿去微调,还能让模型的回答更一致。

做搜索智能体或 Deep Research 产品的团队值得读。它最有用的不是"又一个测试框架",而是那张按阶段整理的缺陷表:近三分之二的错误出在拆子问题这一步,比搜索和推理加起来还多。先定位错在哪一步,再照着那一步的弱点去改写问题,能找到多得多的失败。在这篇的对比里,EMBERS 找到的失败是同义改写基线的 7.87 倍,因为同义改写大多碰不到系统真正薄弱的地方。要提醒的是,这些失败都由自动判分认定。人工抽查 384 条改写结果,自动判分有 88.02% 判对。

一个问题,换种问法就答错

论文观察到过这样一个缺陷:系统拆子问题时,把"美国派4 故事 设定 时间"简化成了"美国派4 故事 时间",丢掉了"设定"这个限定词,可能因此搜到上映日期而不是剧情年代。下表是按这个缺陷编的示意,原问题、改写和两次结果都是编的,用来说明 EMBERS 想测什么。

内容(示意)
原问题《美国派4》的故事设定在哪一年?
系统拆出的子问题"美国派4 故事 设定 时间" → 搜到剧情年代,答对
改写后的问题《美国派4》里,主角们经历的这些事发生在哪一年?(不再直接说"故事设定",问的仍是剧情年代,答案不变)
系统拆出的子问题"美国派4 年份" → 搜到上映日期,答错

原问题答对,只说明系统在这一种问法下能走通。换一种同样意思的问法,前面某一步走偏,后面的搜索和推理会顺着错的方向越走越远。

先看清错在哪一步

作者收集了 DeepDiver、WebSailor、WebExplorer 三个系统在三个基准上的 1,932 条执行轨迹。他们从答错的轨迹里随机抽了 384 条,人工逐条找"最早出现、之后没被纠正"的那个错误,把失败归到它所在的阶段。

一条 Deep Research 执行轨迹:系统拆出子问题,调用搜索读网页,最后汇总作答
一条 Deep Research 执行轨迹:系统拆出子问题,调用搜索读网页,最后汇总作答
阶段占失败比例典型缺陷
拆子问题65.6%措辞含糊读错(18.8%)、拆题时丢了限定条件(18.5%)、盯着显眼线索漏掉关键线索(17.4%)、只给间接描述认不出实体(10.9%)
在线搜索24.2%网页读不出来(11.2%)、搜索词带了无关词或口语(5.7%)、被热门相关话题带偏(4.7%)、翻译走样(2.6%)
最终推理10.2%资料都搜到了,最后的数数、排序、加法却算错(10.2%)

最终推理这一类很能说明问题。比如问"列侬出生年份和去世年份相加是多少",系统搜到了两个年份,最后却把年份的各位数字加了起来。研究过程越长,系统越容易忘了题目到底要它算什么。作者也提醒,这些比例描述的是这几个系统的失败来源分布,不是每个阶段出错的概率。

EMBERS 的流程:从答对的题出发改写

EMBERS 把这张缺陷表变成九条改写规则。整个流程是一个循环:挑一道系统答对过的题,选一条规则改写,交给系统重跑,看它还答不答得对。

EMBERS 总览:从数据集挑出种子题放进种子池;每轮挑种子、选规则、由改写器结合网络搜索生成新输入;系统重跑后判断是否失败,没失败的有潜力的输入再放回种子池
EMBERS 总览:从数据集挑出种子题放进种子池;每轮挑种子、选规则、由改写器结合网络搜索生成新输入;系统重跑后判断是否失败,没失败的有潜力的输入再放回种子池

第一步是挑种子题。每道候选题让系统独立跑三次,三次都答对才留下,作为"种子"。这样能先排除那些系统本来就时对时错的题,后面答错时更可能是改写造成的。不过随机性没法完全排除。种子同时保存原题、标准答案和系统那次的完整执行轨迹。标准答案只留在测试框架这边,判分时才用;重跑时系统拿到的只有问题,或者轨迹里改写点之前的部分。

第二步是先选改哪里,再选怎么改。改写的位置有两类:原问题,或者轨迹中间的某个子问题或搜索词(下面统称子问题)。EMBERS 先各以一半的概率选位置,再从这个位置适用的规则里随机挑一条。原问题配五条规则:改成容易误读的措辞、换成间接描述、把限定条件写得不那么明显、加入真实但无关的背景、在题里加一步数数或排序。最后一条要求题目最终问的东西不变,比如先让系统把几件相关的事按时间排好,最后仍然只回答原题要的那个答案(示意)。子问题配四条:掺入热门相关话题、掺入无关高频词、改成口语、改用别的译名或中英混写。先选位置是为了不让规则多的那一边分走大部分测试机会。"网页读不出来"这类缺陷属于外部环境,作者没有为它设计规则。

第三步是改写并核实。改写由一个大模型完成,作者用的是 DeepSeek-V3.2。它先找出题里哪些成分能改、哪些条件必须保留,再定改写方向。动笔之前它会上网搜索,核实新描述确实指向同一个对象。比如把一个事件名换成间接描述时,要先搜索确认这个描述只对应这一个事件。写完后,它再对照原问题检查一遍改写是否还在问同一件事,并记下改写和搜到的依据。

第四步是重跑并判分。改原问题时,系统从头重跑。改子问题时,系统保留改写点之前的全部推理和搜索记录,把轨迹里那一条子问题或搜索词的文本换成改写后的版本,之后的搜索和推理由系统自己接着生成。跑完后,同一个 DeepSeek-V3.2 换用一套单独的判分提示,拿系统的最终回答和标准答案比对。这一步只在测试时做,被测系统作答时看不到标准答案。原题答对、改写后答错,才算找到一个失败用例。

第五步是决定哪些输入留下继续改。EMBERS 用"来自哪道原题、最近一次用了哪条规则"给每个输入分组。同一组里,只有执行轨迹比这组以往都长的输入才留下。这里的步数包括推理步骤和工具调用。作者把轨迹长度当作一个粗略的信号:在前面的统计里,答错的轨迹平均 19.86 步,答对的平均 15.19 步。种子被挑中的机会会越来越小。每个种子的权重从 1 开始:它离原题每多改一代记 1 分,每被挑中一次记 0.5 分,权重随总分按指数下降,总分到 10 分时降到 0.05。每轮按权重比例抽种子。这样既少在同一道题上反复打转,也避免改得离原题太远。

Hoot 说种子权重怎么一路往下掉收起 ✕
一道题越常被改、越常被挑,下次就越难被抽中。总分到 10 分,权重从 1 掉到 0.05。
一条指数下降曲线:总分 0 时权重 1,3 分时约 0.41,10 分时 0.0500.51036101210 分种子总分(改写代数 × 1 + 被挑次数 × 0.5)被抽中的权重论文设置新种子:权重 1示意:改 2 代、被挑 2 次10 分:降到 0.05
一条指数下降曲线:总分 0 时权重 1,3 分时约 0.41,10 分时 0.0500.51036101210分被抽中的权重论文设置10.410.05
总分 3.0 → 权重 0.41

横轴是种子的总分:离原题每多改一代加 1 分,每被挑中一次加 0.5 分。示意:改过 2 代、被挑过 2 次,总分是 3,权重约 0.41。这样测试机会会更多流向新题,改写也不容易离原题越走越远。

出处论文 §4.3.4 种子概率更新:P = P_init·e^{-α(w1·代数 + w2·被挑次数)},P_init = 1,P_finish = 0.05,max_times = 10,w1 = 1,w2 = 0.5

结果:同样 24 小时,找到的失败多得多

实验覆盖两个框架(WebSailor、WebExplorer)和两个模型交叉成的四种配置,乘以四个数据集,共 16 组设置。三种方法用同一批种子、同一个判分器、同样 24 小时。

方法16 组设置合计找到的失败人工判断"问的还是同一件事"人工认可自动判分
RobustAlpacaEval(同义改写)1,06099.22%89.32%
DR-Arena(从网上现造新题)2,59528.13%58.59%
EMBERS8,34093.49%88.02%

EMBERS 在 16 组设置里有 15 组找到的失败最多。只看数量还不够,还得看这些失败算不算数。DR-Arena 生成的题只有 28.13% 还在问原来那件事,它找到的很多"失败"其实是题目本身变了。同义改写几乎不改原意,但也很难让系统出错。EMBERS 介于同义改写和 DR-Arena 之间:改动足够大,能碰到系统的弱点,同时九成多的题还在问同一件事。

九条改写规则各自找到的失败数(橙)、答对数(蓝)和失败率(红线)
九条改写规则各自找到的失败数(橙)、答对数(蓝)和失败率(红线)

分规则看,最管用的是"把限定条件写得不那么明显"和"换成间接描述",改写后答错的比例分别是 65.95% 和 55.14%。这两条都打在拆子问题这一步,和前面缺陷表的结论一致。搜索阶段里,改成口语和换译名比掺无关词更有效,掺无关词的失败率最低,只有 20.84%。

消融只在 4 组设置上做:WebSailor 配 WebSailor-32B、WebExplorer 配 WebExplorer-8B 这两种框架配自家模型的组合,各跑 FRAMES(多跳问答基准)和它的中文版 FRAMES-ZH。逐项去掉组件后,失败数都会下降。去掉改写时的网络搜索,失败数少了 27.85%,生成的测试题也少了 32.86%。把"先选位置再选规则"换成直接从九条规则里随机挑,测试题数量差不多,失败数少了 19.91%,说明这一步的作用是把测试机会分给更容易出错的地方。种子维护的贡献最小,失败数少了 4.59%。

测试产生的轨迹还能拿来训练

作者用 EMBERS 在 OpenSeeker 上产生的执行轨迹微调 WebSailor-32B。先拿答对的轨迹做 LoRA SFT,再用 KTO(Kahneman–Tversky Optimization)做一轮偏好优化,把答对和答错的轨迹分别当正负例。评测用的 FRAMES 和 FRAMES-ZH 都不在训练数据里。每道题跑三次,三次都对才算"稳定答对"。

评测集微调前稳定答对微调后稳定答对
FRAMES48.54%54.49%
FRAMES-ZH60.43%69.57%

这说明测试中产生的轨迹除了用来报 bug,还能当训练数据,让系统在原题上更稳。其中答错的轨迹只在 KTO 里当负例。不过作者自己也说,还没有验证微调后的模型面对改写的问题是否也更稳。

我认为它的局限

一是失败数靠自动判分。人工抽查的 384 条改写结果里,88.02% 的判分是对的,错判在"答对"和"答错"两边差不多各占一半。改写和判分用的是同一个模型,偏差可能相互关联。所以 8,340 是"疑似失败",具体到每一条还得人工确认。

二是改写仍会走样。人工判断 93.49% 的题还在问原来那件事,88.80% 保留了确定答案所需的全部条件。作者分析有问题的输入:63.2% 删掉了确定答案所需的线索,31.6% 额外加了要求、把标准答案也改了,5.1% 没按指定规则改。

三是每道改写题只跑一次。种子题要求三次都对,改写题却只跑一次。系统本身有随机性,部分"失败"可能只是偶然没答对,作者为了在 24 小时内多测几道题接受了这个代价。

搜索团队可以怎么试

  1. 从线上日志里挑一批系统连续三次都答对的问题,保存完整的执行轨迹。
  2. 先抽一两百条答错的轨迹,按"拆子问题、搜索、推理"人工标出最早的错误,看看自己系统的分布和论文是否一样。
  3. 优先实现失败率最高的两条规则:把限定条件写含糊、把实体名换成间接描述,改写前用搜索核实描述只指向一个对象。
  4. 改写结果里抽一部分人工检查是否还在问同一件事,再看失败用例集中在哪类问题上。
  5. 把稳定复现的失败用例放进回归测试集,再考虑当训练数据用。

结论

EMBERS 的价值在于先弄清 Deep Research 系统通常错在哪一步,再照着这些弱点去造测试题,而不是盲目换问法。

维度评价
问题重要性高。Deep Research 链路长,一步走偏就会一路错下去
方法创新性中高。按阶段整理的缺陷表直接变成改写规则,并能从中间步骤接着跑
实验证据较强。16 组设置、逐项消融、人工复核都有,但失败数依赖自动判分
工程成本中。需要能保存轨迹、从中间步骤恢复执行的系统,以及大量重跑预算
是否值得尝试值得。前两条规则和缺陷标注方法可以直接拿来做回归测试

读完这篇,你觉得

点一下即可,无需登录;再点一次撤回。只统计匿名次数,不记录你是谁。

讨论

欢迎补充实验细节、复现经验或不同看法。需 GitHub 登录。

正在加载讨论…