02 4.00
问「泰坦尼克号的导演是哪国人」,如果检索只能拿回一篇文档,留哪篇更有用?直觉是留写着答案的那篇,也就是讲导演卡梅隆国籍的文档。作者发现,留下讲卡梅隆执导了这部电影的桥接文档,模型往往答得更好,小模型尤其明显:知道了该找谁,缺的那条事实模型常能从自己的记忆里补上。为了做这种对照,作者造了一个多跳问答集 FondueQA,每条需要的事实只出现在一篇指定文档里,可以逐篇拿掉。缺的事实涉及的实体越热门,模型越容易自己补。可上下文里再放几个看似合理的竞争实体,有些模型的答对率会掉约 15 个百分点。做 RAG 时,除了看召回了多少,还要看留下的是推理链上的哪一环。
03 3.90
多语言检索增强生成通常要先建索引、再靠学好的检索器排序,跨语言时实体写法稍有不同就容易找错。这篇工作让模型直接对原始语料下可执行的检索命令,并用强化学习训练。它先在语料里检索、核对实体的本地写法,再用这些写法构造后续查询。两条搜索命令会先收成词项集合,再用交并比衡量重合,超过设定阈值就当成近重复并合并;只有最终答对的轨迹,才能按不重复命令占总命令的比例拿到奖励。在 MKQA 和 MLQA 上,相对 GrepSeek,平均准确率提高 3.2 个百分点,回复长度也缩短了 29%。重复搜索减少的同时,跨语言泛化仍然站得住。
04 3.90
问某人的岳母是谁,第一次检索很难直接找到答案:得先找到写他配偶的段落,再顺着配偶去找她的母亲。下一步往哪搜,要等拿到中间证据才知道。常见做法是先建一张知识图谱,或者每一步让大模型改写 query 重新检索,前者要额外建库维护,后者每步都多一轮开销。EAGR 在入库时让大模型给每段文本抽出实体等描述词,作为普通元数据存进向量库,共享同一个描述词的段落就算相邻。查询时先用稠密检索找几段起点,大模型读完已有证据,挑出值得继续追的描述词,按元数据取出相邻段落,证据够了就停。在三个多跳问答数据集上平均,大模型判定的答对率是 67.1%,普通 RAG 是 59.8%,最强的图检索基线是 63.2%。
05 3.90
搜索和推荐如果共用同一套物品向量,两边的更新可能会一起把某些向量越推越长。在未归一化的点积检索里,模长更大的物品更容易被捞到。作者证明:在一些充分条件下,余弦损失的梯度会贴着等模长球面切向移动,于是每次非零更新都会让模长的平方增加这一步切向位移的平方。在 MovieLens 32M 和 Amazon Books 上,这种切向累积伴随着频次和模长相关。用未归一化点积排序,会比先归一化再排序捞出更多头部物品。一项对照训练会在每一步物品 ID 向量更新之后,把这一步立刻造成的模长变化撤回去。这样能减弱这种曝光,但推荐效果也会下降,所以它只是诊断,不是作者建议的修法。
06 3.75
图片很少只被描述一次,检索基准里一张图常常对应好几句标题,可双塔模型仍把每一对图文单独打分。这篇论文问:推理时让冻结的编码器顺便看看同一张图的其他标题,能多带来什么。它先把一张图各句标题的向量取平均并归一化,得到标题共识,再拿共识与查询文本的相似度,和图像与查询的相似度做加权相加。当这些标题和查询来自同一批标注者时,九个冻结编码器的文搜图 R@1 提高了 3.4 到 16.8 个百分点。若标题改由现成的自动配文模型写,增益降到 1.9 到 7.2 个百分点。这些标题帮助的是把候选对上人对图像的说法,而不是提高图像与文本的对齐本身。
07 3.60
图检索增强生成会把文档里的实体关系连成知识图谱,供模型做关系推理。可是只靠黑盒访问,攻击者仍可能把图重建出来,既恢复实体之间有没有边,也恢复边上的语义。这篇工作在建索引前抽出三元组并生成候选谓词,再用指数机制抽样替换说法或空结果。效用按候选说法与原关系的语义距离来算:距离越近效用越高,越容易被抽到;抽到空结果则删掉这条边,其效用是与原文无关的固定值。在三个图检索增强系统和两种定向重建攻击上,关系恢复的 F1 比最强基线下降 26.98% 到 44.35%。与此同时,问答 F1 只下降 2.98% 到 8.97%。
08 3.45
做多模态跨文档问答时,很多系统先从全部文档里抽实体、建一张图文混合的知识图谱,再在图上检索。建图又贵又慢,文档一改还得重抽。TrioRAG 不建图:把每页的文字和页面图片放进同一个多向量索引,用三路信号分别检索,分别是问题原文、问题附带的图片,以及让视觉语言模型看着图片改写出的问题,最后把三份排序结果合并。在三个基准上,它的答题效果持平或超过两个图检索系统,算上建索引的总耗时快了 12 到 65 倍。作者还做了一个汽车问答集 AutoQA,问题里的图片来自网络、不在文档库里,这时单靠图片检索,文档召回只有 19.3%,撑住检索的是文字那两路。文档常更新的多模态 RAG,可以先试这种不建图的方案。
09 3.40
答案要串起多份长文档里的证据时,普通检索增强生成容易把上下文切碎,也做不好多跳推理。这篇工作同时保有知识图谱里的显式关系,以及稠密向量检索的语义覆盖。推理时按节点连接密度排序,从图里信息最密集的实体出发做遍历,沿连接这些实体的路径找证据;路径会按边标签与查询词的语义相似度、该关系在不同文档片段里出现的次数,以及对过长或成环路径的惩罚综合打分;只有找不到路径,或这条综合分数不够高时,才退回把查询编成向量,并用稠密检索加上关键词匹配去补证据。在 MultiHop-RAG 上,混合方法的精确匹配率是 55.8%,单独用向量是 51.5%,单独用图是 48.7%。
10 3.45
皮肤科问答常常要同时用上指南文字、疾病之间的关系和皮损图片,一次检索很难凑齐。SkinMind 用皮肤科指南和教科书建了一张图文合一、一百多万个节点的知识图谱,再把它当成可以逐步探查的环境:调度用的大模型有八个工具,可以找相关实体、看节点详情、顺着关系往下走,最后取出原文段落和图片作证据,每步查什么、查多细由它根据已有线索决定。六个皮肤科视觉问答基准的平均分(选择题按准确率,开放题由大模型对照参考答案打分)从直接回答的 59.20 提到 67.90,换另一种调度模型提升相近,也稳定超过其他 RAG 方法。图谱在这里是给模型探查的工具,而不只是检索索引。
11 3.35
越南法律问答里,回答一个问题常常要同时找到几条法条,比如一条基本规定和后来修改它的条款。只按措辞相似度检索,修改条款、配套条款很容易漏掉。作者在越南法条检索数据集 DRiLL 上,给每个候选法条加了几类结构特征:它属于哪部法律,同一部法律里还有哪些候选,它引用了谁、被谁修改过,再让 LightGBM 结合大模型的相关性判断挑出最终答案。五次随机种子平均下来,官方 F2 指标从 71.77% 提到 72.91%,提升不大,需要两条法条的问题上最明显。新增特征里贡献最多的是同一部法律和引用关系。想在法律检索里用上引用和修订关系,这篇给了一份具体的特征清单。
12 3.35
招聘场景的检索模型很难公开评测,因为真实简历和岗位需求涉及隐私和商业机密。作者以大量真实自由职业者档案为底,按职业和技能分类体系,用 Gemini 合成了一套多语言的候选人档案和项目需求,并给每份档案生成一个反事实双胞胎:内容完全相同,只把表示性别的词形从阳性换成阴性或反过来。拿它测 embedding 模型发现,通用 MTEB 榜单上的排名在这里不太管用:Arctic Embed 在通用多语言榜上分数更低,在项目需求检索上的 NDCG@10 却比几个指令微调模型高 0.07。模型大小和公平性之间也看不出系统关系,规模相近的模型对性别改写的敏感度可以差很多。给招聘检索选模型,要在自己的场景里同时测效果和公平性。