02 4.30
用大模型做 listwise 重排效果好,但要逐个生成文档编号,很慢。只看第一个 token 上各文档编号的分数、一次排完要快得多,难点是怎么把大模型老师的排序能力教给这种学生。DecisionRank 让学生先按自己的分数排出列表,老师在每一位上看:前面几位已经定了,剩下的文档里谁该排下一位,给出一个概率分布;学生在剩下文档上的分数也换算成分布去贴近它。结果 1.7B 的学生在 TREC DL 上超过了 27B 的老师,8B 学生在 TREC DL 上比同尺寸的生成式 listwise 重排更准,还快 24.5 倍。
03 4.05
基于 BERT 的 cross-encoder 是最准的重排模型之一,但它内部怎么判断相关一直说不清。论文在三个大小不同的模型、多个域内和域外数据集上追踪信息怎么流动,发现三个模型走的是同样的几个阶段:前中层先让 token 结合上下文,同时有专门的注意力头找 query 和文档之间的字面匹配;更深的层出现找语义匹配的头;最后这些信号汇到 query 的 token 和 [CLS] 上打分。细节则各不相同:三个模型把相关信号汇进 [CLS] 的方式不一样,MiniLM 甚至可能是在找“不相关”的证据。
04 4.00
研究者找实验步骤时,往往同时带着好几个条件,比如某种细胞要在特定温度下培养,但不能用 DMEM 培养基;而一段方法描述里常常并列写着几套实验方案,所有条件必须落在同一套方案上才算找对。ProSearch 把这类需求做成覆盖六个实验科学领域的检索评测。19 个检索器里最好的 nDCG@10 只有 0.290,加上重排也只到 0.474。人工错误分析发现,排在前面的错误结果里九成至少有一个条件不满足。
05 4.00
现成的检索 embedding 里带着能读出来的分类树信息。作者发现,用 Matryoshka 训练(MRL)的 embedding 把分类信息主要放在靠前的维度:按原顺序截取前一小段,比打乱后截取或截取末尾更能把同类概念聚到一起。PEEL 据此在冻结的 embedding 上只训一个 9.8 万参数的小投影,学会从两个概念的向量判断谁是上位,再拼成分类图。把拼出的图和标准分类图的节点一一配对,按节点名字和邻居的相似程度打分(Graph F1,满分 1),它在 Wikipedia 和 arXiv 上得到 0.885 和 0.931,前提是给定完整概念词表和一份标准上下位边。
06 3.90
RAG 投毒防御通常只用一个数评估:加了防御后,攻击成功率降了多少。攻击成功率指模型被投毒文档带着说出攻击者答案的比例。作者把每个 query 在四种情况下的回答都存下来,即干净检索和投毒检索各自开关防御,再逐条对比。结果发现,防御挡掉一部分攻击的同时,会让另一些原本没被骗的 query 反而说出攻击者的答案,只看成功率会把这部分抵消掉。基于检索分数的检测器也有盲区:上下文里只有一篇投毒文档时,60 个中招回答它拦下 59 个;投毒文档有五篇时,一个也拦不住。评估防御要同时报告它挡掉了什么、新引入了什么。
07 3.75
用网页截图做 RAG 能保留图片和版面,但截图里的名字、日期、数字这类文字事实不容易被检索到。Pix2Evidence 把每块截图和它的文字转录一起编码成一个向量,让版面和文字在检索时一起起作用。训练时,一个视觉语言模型先为每道训练题写一段话,描述截图里支撑答案的内容;检索器除了常规的对比学习,还要让问题检索出的截图排序和这段描述检索出的排序保持一致。不加重排时,它在五个 Wikipedia 问答基准中的四个上,答题准确率高于文本抽取和只检索截图的对比方法;在 MMSearch 上达到 26.0%,比只检索截图的 PixelRAG 高 4.4 个百分点。
08 3.75
agent 搜索每步都要选:往下推,还是先去搜。只按最终答案对错给奖励,分不清错在搜索选择还是检索和推理。这篇论文给每步单独打分。模型把这一步的中间结论重写几遍,算出这些 token 的平均负对数似然作为不确定度,再用训练前拟合的一条曲线换算成答对概率,即可靠度。不搜的步骤,得分是可靠度减去校准集上的平均可靠度;搜了的步骤,用同一个搜索词,带上和去掉搜回的段落各重写几遍结论,可靠度涨了多少就得多少分。用 GRPO 训练后,在七个问答基准上,平均 CEM(标准答案是否出现在回答里)比 HiPRAG 高 2.1 分,搜索次数少 6.8%。
09 3.65
只用 BM25 和关键词查找当检索工具,配上会自己改写 query、决定何时停下的搜索循环,大模型就能答对 BrowseComp-Plus 里 85% 的题。作者认为准确率已经不是主要问题,问题出在上下文:循环会重复搜同样的词、反复读同样的文档,把上下文窗口塞满用不上的段落。RAGFlow 的办法是入库时先用大模型把文档拆成一条条断言,每条带着原文证据句。搜索时先查这些断言,判断环节认为证据够用,就只读这几句,不再读整段原文。和直接读原文段落的同一套搜索循环相比,证据够用时,单个查询的总 token 少 91%,不够用时只多 1.9%,在 FRAMES 上平均省 38%。图谱、百科页这类结构对准确率没有可测的提升。
10 3.65
Word、PDF、幻灯片这类文档都是按页组织的,但现有的视觉文档检索评测大多只考一件事:给一个问题,找出单独的一页。这篇论文先把这类检索按两种粒度分开,即找页还是找整份文档,再按三种方式分开,即逐条找、找一组合起来才构成证据的页、多轮迭代地找;然后用八条标准检查了 42 个现有基准。多数基准只覆盖单页逐条找;来自真实用户需求的问题和分等级的相关性标注都很少,标注有没有覆盖全库也差别很大。选基准时要先确认它测的是不是应用真正需要的能力。