EchoSpec: Training Search Agents to Weigh Evidence Above Echoes
真实语料里,同一说法会被许多页面转抄改写,真正能定论的原始出处却往往只出现一次。用强化学习训练的搜索 agent,容易把这些回声当成彼此独立的证据,八条改写过的错误回声就能推翻 58% 到 73% 原先正确的答案。EchoSpec 先教模型在回声里把桥接实体找回来,再用带证据门控的奖励做分组强化学习。
今日场景今天的检索赛道在问,召回阶段到底有没有把真正该看的东西带进来。社区图文搜索要把意图写进召回,长文档要把图表和跨页关系一起找回,多跳问答还得顺着已检索页面上的链接走。搜索 agent 会被转抄的回声带偏,视觉查询则在进检索器之前就可能是歪的、糊的。另一边,有人在看 embedding 要不要再跑一遍层,要不要先擦掉干扰属性,要不要换到能保住层次的双曲空间,以及更小的生物医学编码器能不能靠面向检索的预训练超过更大的模型。还有一篇讨论重排的博客提醒,向量检索找得近,并不等于找得对,对照问题再打一遍分,往往比先换更大的模型更容易量起来。 — 评分 90 篇,入选 10 篇,分数 3.60 – 4.75
在用户生成内容社区里,图文混合查询的相关性取决于用户想找什么,不能只靠视觉或主题相似来定。只把视觉检索结果再排一次,相关笔记可能根本不在候选里。IntentFlow 在小红书上用分层意图体系来统一候选召回和精排的相关性标准,并据此构造训练数据和表示学习。
真实语料里,同一说法会被许多页面转抄改写,真正能定论的原始出处却往往只出现一次。用强化学习训练的搜索 agent,容易把这些回声当成彼此独立的证据,八条改写过的错误回声就能推翻 58% 到 73% 原先正确的答案。EchoSpec 先教模型在回声里把桥接实体找回来,再用带证据门控的奖励做分组强化学习。
多跳问答里,搜索 agent 常按语义去补缺失信息,却到不了问题里没点名、其实就在已检索页面链接后的那一页。在同样预算下,顺着这类关联路径能碰到更多金标准页面,但离线建图贵,相关性和融合式筛选又常把链接证据挤出有限上下文。DetouR 作为插件复用页面自带的链接,不再额外搜索,也不再调用大模型:用轻量打分把近重复查询改道到链接页,再用个性化 PageRank 让证据链完整进入阅读上下文。
从长文档里找证据时,有用信息常散落在不同页和不同模态,只按每段文字或图表与问题的单独相似度排序,相关图和表可能被排得很低。LMEG-Doc 先按版式和上下文把文档元素连成证据图,再用视觉语言模型补上跨页关系,然后把多模态检索信号沿着图传播,把互相支撑的证据一并找回。
多模态检索增强生成里,文本查询常会先改写,视觉查询却往往被当成干净、不可改的输入。真实视觉查询常有变形、画质下降或语义含糊,检索会严重失败。V-QPP-Bench 把视觉查询预处理写成一种 agent 决策:模型要自己判断缺陷,并调用感知工具把查询修好。评测覆盖 46,700 条有缺陷的查询。视觉缺陷会明显拉低召回和端到端表现。预先按正确步骤修好后,性能可以接近完好输入,但现成多模态大模型在选工具和预测参数上仍吃力,监督微调能让小模型赶上或超过更大的专有模型。视觉查询不能默认是干净的,搜索前先修图,有时比换检索器更要紧。对做图文检索增强生成的人来说,查询预处理应单独评测和训练,而不是假定输入没有噪声。
更紧凑的通用多模态 embedding 模型,能不能靠把同一组层再跑一遍,做出更好的检索向量?只看检索分数变高,还看不出多出来的这一遍贡献了什么。如果信息只会向前传,把图像放在查询前面,反复过层后图像状态仍与查询无关。作者比较了十一类循环设计,并打开查询流向图像的通路,例如下一遍先放查询。在大规模多模态 embedding 基准第二版的全部数据集上,普通加一层循环比对照低 0.46 分,中间加一段生成则变为高出 0.36 分;带循环预训练的模型,比去掉循环的对照高出 4.23 分。多跑一遍层并不自动有用,要看图像状态有没有真正用上查询。对做图文检索 embedding 的人来说,先问额外计算有没有让图像对查询敏感,再决定要不要把循环写进预训练。
文档 embedding 会写入一些和语义无关的干扰属性,有监督擦除又常常缺元数据。作者在多个语料和嵌入模型上系统比较了无标签去混淆。无标签方法相对未处理向量能提高语义效用,简单的几何方法也能收回很大一部分有监督收益。在 SwiLTra 上,不用元数据的聚类擦除与用元数据的监督擦除打平,线性泄漏 AUC 同为 0.577,检索 R@10 同为 0.969。效用提高并不要求干扰信息被擦干净,压得更干净也不一定带来更高效用;线性上更难恢复,非线性上仍可能残存不少。去混淆成功与否,要同时看干扰是否被压住,以及语义任务有没有变好。对用文档向量做检索或比对的人来说,没有标签也可以先试几何擦除,但必须把这两项分开评,不能只看一项。
密集检索几乎都在欧氏空间里做,但语言从宽主题到具体实体是分层的,欧氏向量难以保住这种结构,语义上远离的文档会看起来很近,加重幻觉风险。HypRAG 在双曲空间的洛伦兹模型里做密集检索,一种是完全双曲的变换器,另一种把预训练好的欧氏向量再映进去,并用向外的爱因斯坦中点做序列汇聚,以免层次在汇聚时塌掉。在 RAGBench 上,相对欧氏基线,混合模型在上下文相关性和答案相关性上最多提高 29%;完全双曲模型里,从一般概念到具体概念的半径增加了 20.2%,欧氏 embedding 没有这种结构。检索空间的几何假设,会决定层次关系能不能被保住。对做检索增强生成的人来说,换一个能表达层次的空间,有时比把欧氏检索器再做大更有效。
生物医学文献检索越来越多用双编码器,但常用的 BERT 规模编码器做全库索引和低延迟查询编码成本高,掩码语言模型也并不直接训练用来代表整段文本的向量。Bioformer-RetroMAE 在约 3200 万条 PubMed 题录和摘要上,用面向检索的 RetroMAE 继续预训练紧凑的 Bioformer 八层模型,再用 BM25 难负例做双编码器微调。在 BioASQ 第 12 届 B 任务测试题、检索全部 PubMed 摘要时,它在所有指标上超过同样微调的 BioBERT 和 PubMedBERT,参数大约只有它们的四成。相对 PubMedBERT,平均精度均值提高 37.0%,Recall@100 提高 29.1%。面向检索的预训练,能让更小的生物医学编码器在全库检索里超过更大的掩码语言模型。对做文献搜索或生物医学检索增强生成的人来说,先改预训练目标,可能比继续上更大的编码器更划算。
向量检索擅长找到主题相近的段落,却常把细节不对的近错结果排在前面。即使得分最高的几条里没有正确答案,只要正确信息在文档库里,生成仍可能答错。重排是在向量检索取出一批候选之后,用 cross-encoder 对照问题给每段重新打分。在一个 274 道题的合成基准上,Gemini embedding 单独做向量检索时,正确段落排在第一的比例是 81%;用专用重排模型对前三十条再打分后,这一比例升到 97%。作者也提醒,这是小规模合成数据上的结果,真实文档上的收益还要按自己的语料来测。检索错了,不一定要先换更大的 embedding 模型,先给候选做一次对照问题的重排。对做检索增强生成的人来说,把候选从三十条收到三条再送给生成模型,是一条可以先量起来的路径。