02 4.40
带指令的检索要求同一个 query 在不同指令下排出不同结果:指令加了一条额外要求后,原来的正例如果不满足这条要求,就该往后排。这种训练数据很少,现有做法是固定正例,再让大模型编一段违反指令的负例。这篇论文反过来做:从原有负例里挑一篇满足某个额外条件的文档,生成一句短指令把它扶正,原来的正例在这句指令下自然成了最难的负例。在 MS MARCO 上只造了 6,716 条数据,小号的 Qwen3-Embedding 训练后,在 InstructIR 上,同一 query 配上多条不同用户指令,取排得最差那次的前十名 nDCG,这个分数从 49.29 升到 67.06,超过大十倍以上的 Promptriever。
03 4.40
RAG 系统一般只接一个固定的检索器,但不同问题适合的检索器不同,有些问题干脆不检索、只靠模型自己答更好。这篇论文把选检索器当成排序问题:对每个训练问题,记下每个检索器让答案质量比不检索提高了多少,再训练一个排序模型给检索器排名,不检索也是候选之一。在六个由稀疏、稠密检索和不同重排组合出的检索器上,pairwise XGBoost 路由把答案正确率分从最好单一检索器的 0.5776 提到 0.5900,而每题都选对的上限是 0.7948。路由的收益是真实的,但离上限还很远,而且训练标签选哪种答案质量指标影响很大。
04 4.40
传统检索里,文档彼此竞争前几名;但在多跳问答或 text-to-SQL 里,单篇文档往往不完整,答案要靠几篇拼起来。放到稠密检索上,这就是找一小组文档,让它们的 token 向量合起来覆盖 query 的每个 token 向量。这里的覆盖,指 query 的每个 token 向量都能在选中的文档里找到相近的 token 向量。这篇论文证明覆盖程度满足次模性,也就是每多加一篇文档,新增的覆盖只会越来越少,所以可以一轮轮查询向量索引,每轮找能补上最多未覆盖部分的文档,贪心地凑出接近最优的组合,耗时随语料规模亚线性增长。作者据此实现了一种新的向量数据库 DISCo,在覆盖率和查询延迟的权衡上优于对比方法。需要多篇证据拼答案的 RAG,用这个目标比用 top-k 更贴切。
05 4.40
CLIP 这类检索模型遇到中文 query、长文本 query 或图文组合 query 时效果明显下滑,可重训检索器、重算整库向量又太贵。这篇论文不动检索器,只训练一个大模型来改写 query,并用 GRPO 把检索排名直接当作改写的奖励。作者发现,如果奖励只看改写后的 query 和正确结果有多相似,模型会学会把所有候选的分数一起抬高,无关结果也跟着变高。改成看正确结果在整个语料里排第几,这个问题就消失了。在多语言、长文本和组合图像检索的多个基准上,Recall@10 平均提高 4.9%。检索模型冻结、语料很大的系统,可以先从改写 query 下手。
06 4.30
问维基百科《欢乐糖果屋》的制片人是谁,答案就在页面信息框的制片一行,可文本抽取把这一格里的两个名字弄丢了,读者模型只看到导演,于是答错。这篇论文在整个英文维基百科上把答案证据从网页源码一路追到读者输入,发现这种丢失很普遍:7.6% 的问题证据根本没完整进索引,其中 81% 是表格单元格、表头或图注。Tessera 检索照旧,只在读之前把排名靠前的网页重新拆成一行表格、一个列表项这样的小单元,补上标题、章节和表头,再挑相关的装进同样的 token 预算。文本和截图两类流水线的答对率都提高 5 到 6 个点。
07 4.30
RAG 的切块大多靠经验,固定长度、按段落或按语义相似度切,没有一种方法直接以问题的证据能否被完整取回为目标。这篇论文用已有的问题和对应证据来决定每份文档在哪里切,目标是让尽量多的证据段落落进能被这个问题检索到的块里。不允许重叠时,这个目标可以按块拆开,用动态规划精确求出最优切法;允许重叠时问题变成 NP 难,就用贪心近似求解。在两个中文政策语料和三个英文公开数据集上,固定同一个混合检索器,按证据被完整取回的比例比较,不重叠版在 10 个对比设置里有 9 个排第一,重叠版 10 个全是第一,而且返回的上下文越少,优势越大。它适合被反复查询、已经积累了问答记录的文档库。
08 4.05
电商里很多 query 说的是要做的事,而不是要买的东西。比如用户输入“做千层面”,要的是烤盘、食材和厨具,商品标题里却没有这几个词,BM25 很难召回。这篇电商挑战赛的冠军方案先把 query 和商品目录里的类目、实体词对齐,再让大模型一次生成五条互补的改写,最后按评测协议挑选:自动模式只交质量最高的一条;交互模式最多交四条,在五选四的各组里先比平均质量,再比组内检索结果的最大重合度,重合越少越好。每条改写的质量,是用它跑 BM25 取回商品后,重排模型给前五个商品的相关分按名次加权平均。任务型 query 的改写要锚定在目录用词上,否则大模型想出来的商品词未必搜得到。
09 4.00
长文档多模态问答里,agent 式的反复检索和推理并不总是有用:有些问题一次检索就能答对,多走几步反而可能把对的答案改错。作者先用实验说明,多调用一次工具,答案可能变好、不变,也可能变坏。RouteDRAG 因此学两件事:每个问题要不要交给 agent,以及 agent 执行时每一步要不要继续调用工具、什么时候停。在两个基准上,它比只走短路径平均高 3.47 个百分点,同时只把 79.3% 的问题交给 agent,而且比所有问题都走 agent 更准、调用回答模型的次数更少。该不该启用 agent,本身就值得学。
10 4.00
搜索 agent 在文档关系图上找证据时,常用 Personalized PageRank 给候选打分,可连接多的文档天然容易被走到,分数被抬高,却不一定提供更有用的证据,结果挤占了 agent 有限的观察窗口。这篇论文给每个候选只算一条最强路径的分数,即从初始检索到的文档出发、沿途边权相乘最大的那条。再除以一个背景概率的平方根,即在同一张图上从任意文档均匀重启的随机游走访问它的概率,于是连得多的文档需要更强的路径才能排上来,路径也一起交给 agent。在 BrowseComp-Plus 和 TREC-COVID 上,它的答对率和 nDCG@10 都最好,生成开销也最低;与效果最强的基线相比,工具调用最多减少一半以上,总生成成本最多减少四成以上。