QueryFlow: Multi-Hop Graph Retrieval with Adaptive Query Evolution
这篇论文做了一个边找边改问题的多跳图检索器 QueryFlow:图上每传播一层,它就把已找到的上下文压成一个摘要向量,并入问题状态,再用新的问题状态引导下一层怎么找。之前的图检索器,比如 GFM-RAG,整个传播过程一直用最初的问题当条件。
今日场景今天的 AI 搜索赛道主要在讲检索链路出错时怎么发现。RAGLog 只看运行日志定位 RAG 哪个环节出了错,EMBERS 改写问题给 Deep Research 系统找失败用例,另有两篇分别测在网页里软性植入品牌和往语料里投毒对检索的影响。方法上,QueryFlow 让多跳检索的问题表示随已找到的证据更新,还有一篇用缩放规律回答数据有限时该加模型还是加数据。 — 评分 60 篇,入选 10 篇,分数 4.05 – 4.55
RAGLog 只读 RAG 流水线每次运行留下的调用日志,不需要标准答案,也不用改代码,就能指出这次运行是哪个环节出了错。这件事有用,是因为中间出了错,最终答案却可能是对的。
这篇论文做了一个边找边改问题的多跳图检索器 QueryFlow:图上每传播一层,它就把已找到的上下文压成一个摘要向量,并入问题状态,再用新的问题状态引导下一层怎么找。之前的图检索器,比如 GFM-RAG,整个传播过程一直用最初的问题当条件。
标注数据有限时,检索模型最好能训到多好,可以用一条规律提前算出来。作者把训练全程验证损失的最低点叫 MAEL,用它衡量一个模型大小和数据量组合的上限。
在网页文章里不动声色地加一句提到某个品牌,就可能让生成式搜索在回答里替这个品牌露脸。作者用一组 agent 分工做这件事:挑插入位置、改写那一句、检查改得是否自然,再从几个候选里选一个,并在一批网页文章和虚构品牌上测试。
做组合图像检索时,让多模态大模型先把改完后的图分成几块表示出来,再汇总成检索向量,效果会更好。这个任务是给一张参考图加一句修改要求,比如把衬衫换成红色长袖,找出改完后的那张图。
Deep Research 系统会把问题拆成子问题、反复上网搜索、再汇总作答,问法稍一变化,前面的小偏差就可能一路传下去,最后答错。作者分析了三个代表性系统的 1,932 条执行轨迹,归纳出九类反复出现的缺陷,分布在拆子问题、在线搜索和最终推理三个阶段。EMBERS 从系统本来答对的问题出发,针对这些缺陷改写问题或中间的搜索输入,同时核对改写后问的还是同一件事。在同样 24 小时的测试预算下,它找出失败用例的速度是最强基线的 3.21 倍。这些用例拿去微调,还能让模型的回答更一致。
金融问答里,模型从材料中抽出的数字可能没错,却挂错了公司、年份、单位或会计科目。让模型自己检查并放开修改,常把本来对的内容改错。CAR 先只诊断不改,对照材料判断草稿有没有漏答、挂错对象、缺依据、算错、理解错题意这五类问题,再用回归模型把判断换算成草稿漏掉要点的比例。只有这个比例超过门槛才修,门槛取在校准题上修改找回的和改坏的正好相抵处,而且只改最可能出错的那一处。在三个金融问答数据集和三个开源模型上,它找回了 14.6% 原本漏掉的要点,只改坏了 2.1% 原本正确的内容。
两个分别只用图片和只用文字训练的模型,不给任何成对样本,能不能把它们的 embedding 空间对齐?这篇论文发现粗略地对齐是可以的:独立训练的模型常常学到相似的空间形状,不看任何配对,只要找一个整体旋转(正交变换),让旋转后两组点的整体分布尽量重合,就能把两组互不相干的 embedding 粗略对上。只有极少量配对样本时,这个方法明显好于已有方法,对齐结果甚至能在没有配对数据的情况下支持文生图。做跨模态检索时,配对数据可能没有想象中那么不可少。
用视觉语言模型做以文搜图时,搜某个概念,排在前面的图片可能系统性地多出某种无关属性,而这种偏差事先没人知道要去查。SPELUNKA 不需要事先标好人群分组,也不用微调模型:给定一个概念,先给相关图片生成文字描述,从描述里抽出实体和属性,再比较这些属性在模型排在前面的结果里和在整个数据集里出现的频率,多出或少出明显的就标为可疑关联。在四个数据集上,它既能找回人为注入的偏差,也能找到自然存在的偏差,它找出的属性能较准地预测哪些图片会排进某个查询结果的前 5%,平均 AUROC 达到 0.93。检索上线前,可以用它扫出事先没想到的偏差。
外部文本要影响 RAG 的回答,第一步得先被检索器选进上下文。这篇论文专门测这一步:往语料里为每个查询塞入几篇投毒文档,看检索排序会被搅乱多少。在 SciFact 和 NFCorpus 上,每个查询只放 5 篇这种文档,传统检索器的 nDCG 就下降四到六成。起主要作用的是把整条查询原样写进文档,对 BGE-small 这样的稠密模型也一样,投毒文档全部进入了检索结果前列。按词重合过滤能挡掉这类文档,但也会明显伤害正常检索。RAG 的防线要从检索这一步开始设。