RAGCompass: Generalizable Retriever Routing via Reranking

Valentin Six, Mufei Li, Dongqi Fu, Yinglong Xia, Hong Li, Pan Li · arXiv 2611.05596 · 发表 2026-11-03
10 分钟阅读时长 3663字 4.40综合分 第 1 名11-06 AI Search 日报
目录 · 6 节1选择的是本次取回的段落组2怎样训练它选择有助于回答的内容3摘要的 28%,对应哪些问题?4不记检索器身份,换组件时会怎样59% 额外开销没有包含什么6值得先试的是答案监督,不是更复杂的比较网络
相关 5新颖 4实用 4证据 4时效 5

同一个问题交给不同 检索器,返回的段落对最终答案的帮助可能不同。RAGCompass(从各路取回结果中选一组的路由模型)先运行各路检索,再让一个经过训练的 reranker 比较这些结果,选择一组交给大模型作答。在全部测试问题上,答案 F1 比最佳固定 检索器 高 2.28 个百分点。摘要中的相对提升 28% 来自筛选后的问题集合,不能当作全量收益。它更适合已有多路检索、希望改善答案质量的系统,不是用来省掉其他检索器的前置路由。

选择的是本次取回的段落组

问答系统通常固定一个检索器,取回段落后交给 reader。不同检索器擅长的匹配方式不同。同一道题,关键词检索可能找到直接答案,另一个检索器也可能找到更完整的材料;单看平均指标接近,并不代表每道题返回的内容一样有用。

用一个示意问题看区别:用户问某位作家的出生地。一组段落有生平介绍,包含出生地;另一组主要讨论作品。两组都与这位作家相关,能否帮助 reader 回答这道题,却不只取决于主题是否相关。这里的段落组,指一个检索器为本次问题返回的全部候选段落。

在本文实验设置下,RAGCompass 在每次选择之前,先让五个检索器各取回五篇段落。候选分别来自稠密检索、BM25、SPLADE-v3、ColBERTv2 和 HippoRAG2,覆盖不同检索方式。路由模型比较的是五组实际内容,最终选择其中一组。它没有把所有段落合并为一份上下文,也没有在检索发生前预测该调用哪一路。

RAGCompass 论文图 2,裁自原 PDF:query 先发给各检索器,每组段落分别经过共享 reranker;小比较网络一起读取各组表示,选出一组给 reader。底部虚线分支只在训练时为每组生成答案、计算监督。
RAGCompass 论文图 2,裁自原 PDF:query 先发给各检索器,每组段落分别经过共享 reranker;小比较网络一起读取各组表示,选出一组给 reader。底部虚线分支只在训练时为每组生成答案、计算监督。

这解释了它与只看 query 特征的路由有什么区别。后者根据问题文字或检索分数等信号预测哪一路更好;RAGCompass 已经拿到本次结果,再评价这些段落对回答问题的价值。新增检索器也能提供一组段落作为输入,不需要先给它学习一个固定身份标签。

怎样训练它选择有助于回答的内容

训练时可以访问标准答案。对同一个问题,作者让固定 reader 分别读取每一路的段落,各生成一个答案,再与标准答案比较,得到各路答案 F1。论文把这个分数叫 utility,即这一组段落实际支持回答的效果。

其中 q 是问题,D_i 是第 i 路的段落组,A 是 reader,a* 是标准答案。对前面的示意题,只有与作家相关但缺少出生地的段落组,仍可能产生较差答案。训练目标因此来自每组内容产生的答案,而不只来自人工标注段落的相关性。

打分器以 Qwen3-Reranker-0.6B 为主干,每次输入问题和其中一组段落。五组各自前向计算,但共用模型参数。模型在路由指令下输出 yes 的 logit,作为这组的分数。

训练时,各路答案 F1 先除以温度参数 τ,再一起做 softmax,得到目标权重 u。各路模型分数也做 softmax,得到选择概率 p。训练最小化两份分布的 KL 散度:

答案 F1 更高的组获得更高目标权重;温度越低,权重越集中于高 F1 的组。模型据此学习怎样在各组之间分配选择概率。

仅使用这个打分器,就能选择分数最高的一组。完整版本另加一个两层 Transformer 比较网络,把各组的隐藏表示放在一起处理,输出每组最终分数。它能在压成单个分数之前比较表示。作者先训练打分器,再冻结它训练比较网络;两部分都不为某个检索器单独保存专属参数。

这里最容易混淆的是训练和使用的成本。训练标签需要 reader 对每一路都作答。实际使用时,路由模型只读问题与已取回的段落,没有标准答案,也不先生成五份答案来挑。选出一组后,reader 才生成一次答案。

Hoot 说答案教会打分,使用时不先试答收起 ✕
训练用答案教打分,使用时先选再答
同一道题,各路分别作答,再与标准答案比较。打分器学习这些结果的优劣,标准答案不进入线上路由。各路取回的段落组固定reader分别作答对照标准答案算F1训练共享打分器
同一道题,各路分别作答,再与标准答案比较。打分器学习这些结果的优劣,标准答案不进入线上路由。各路取回的段落组固定reader分别作答对照标准答案算F1训练共享打分器
1/2 · 训练:用答案得到选择标签同一道题,各路分别作答,再与标准答案比较。打分器学习这些结果的优劣,标准答案不进入线上路由。
打分器从问题和段落预测选择分数,选中的一组才交给reader;不读取标准答案,也不先为各路生成答案。各路取回的段落组共享模型预测分数选择一组reader生成一次答案
打分器从问题和段落预测选择分数,选中的一组才交给reader;不读取标准答案,也不先为各路生成答案。各路取回的段落组共享模型预测分数选择一组reader生成一次答案
2/2 · 使用:先选择,再生成答案打分器从问题和段落预测选择分数,选中的一组才交给reader;不读取标准答案,也不先为各路生成答案。
1/2

训练标签记录各路实际答得怎样。使用时模型预测哪组更有用;真实答案不可见,选择不再调用reader逐路试答。各路检索仍都要运行。

出处论文§3.1–3.2、图2、附录K

摘要的 28%,对应哪些问题?

作者在四个问答数据集上研究这种选择:Natural Questions、MuSiQue、HotpotQA 和 2WikiMultihopQA,兼有单跳与多跳问题。实验采用固定的 Llama-3.1-8B-Instruct 作为 reader。主表只纳入最优与次优检索器的答案 F1 相差至少 0.05 的问题,使选对哪一路确实有可测差别。

这个筛选用到了标准答案和各路生成结果,属于离线训练、评测的数据选择,不是线上要求用户提供答案。入选问题占未筛选测试集的 18.7%。主结果表 2 中,各模型在这个相同子集上比较。

设置答案 F1
最佳固定检索器0.2782
RRF 结果融合0.3002
MoR,本文使用固定权重的融合版本0.3203
只用训练后的打分器0.3412
打分器加比较网络0.3552
每道题事后选择最好结果的上界0.7508

完整版本比固定检索器增加 7.70 个百分点,论文将相对增幅写作 28%。打分器已经提供大部分改进,比较网络再增加 1.4 个百分点。上界需要知道每组最后答得怎样,只用于评价还有多少选择空间,不能直接作为可部署的方法。

论文图 3:上排按问题数量分组,下排按路由模型距事后最优选择的 F1 差距分组。主要报告的可区分问题只占 18.7%;另有很多问题各路近似打平,或固定 reader 逐路作答均未答对。
论文图 3:上排按问题数量分组,下排按路由模型距事后最优选择的 F1 差距分组。主要报告的可区分问题只占 18.7%;另有很多问题各路近似打平,或固定 reader 逐路作答均未答对。

回到全部测试问题,收益降为 2.28 个百分点。最佳固定对照也从 SPLADE-v3 变成 HippoRAG2,所以这不只是把主表收益按样本占比缩放。部署价值应看全量问题上的效果,而不是仅看最有区分空间的那部分。

另一个实验更直接检查监督信号:固定样本、比较网络和评测方式,仅把训练目标从答案效果换成正确段落的 nDCG。答案 F1 从 0.3552 降为 0.3341。它支持把下游答案作为路由目标;与只看 query 的模型比较时,模型容量和结构也不同,不能把全部分差都归因于是否读了段落。

不记检索器身份,换组件时会怎样

共享内容打分让新检索器的结果仍能被输入模型,但“能打分”和“仍然选得准”是两件事。作者把某个检索器及其标签从训练中完全拿掉,测试时再把它放回候选,检查模型能否利用未见过的检索方式。

这个实验中,不带身份参数的完整模型,相对五路都参与训练的版本,F1 损失为 0.16–1.17 个百分点。给比较网络加上专属身份 embedding 后,部分留出设置明显恶化。这为共享内容表示提供了依据,不是对任意新增检索器的质量保证。

换语料的实验则把一个数据集的问题和语料从路由训练中排除,再在该数据集测试。保留比例是未见语料时超过固定检索器的增益,除以同分布训练时的增益。HotpotQA 保留 103%,2Wiki 保留 84%,MuSiQue 保留 49%;Natural Questions 原有收益就很小。收益保留率在这些语料上差异很大。

reader 变化只测了一次替换:从生成标签时的 Llama 换成 Qwen2.5-7B-Instruct,保留了原有优势的 71%±2%。两种 reader 分别以各自的最佳固定检索器为对照。这次替换保留了部分收益,但没有单独分离段落质量与 reader 配合的影响。实际升级 reader 后,仍要重新测选择效果。本文比较的三种只看 query 的路由基线,均为作者重实现,部分模型更小、设置不同;MoR 也用固定权重,结果只适用于这些对照版本。

3.9% 额外开销没有包含什么

论文在单张 L40S、一个 batch 设置下,测得路由决策耗时 0.222 秒,单检索器取回并作答的流程为 5.687 秒,前者约为后者的 3.9%。这笔账覆盖读段落并选择的路由计算,没有包含从一个检索器扩成五个检索器的额外取回成本。

各路检索可以并行,最终生成也仍然只有一次,但并行不等于没有计算、索引和服务资源开销。已经有多路取回的系统与原本只跑一路的系统,增加这套选择的成本会不同。论文还报告,制作训练标签需要让 reader 对全部候选结果分别作答,这是一次明显的离线投入。

因此,工程比较要同时记录多路取回、reranker 前向和最终生成,而不能只把路由的 0.222 秒加到原系统延迟上,就当作迁移完成后的总账。3.9% 是本文设备与设置中的决策开销比例。

值得先试的是答案监督,不是更复杂的比较网络

已有多路检索的团队,可以在一批有标准答案的问题上,让固定 reader 分别使用各路结果作答,检查不同结果之间是否确实有答案差异。用这些标签训练共享打分器,再与最佳固定检索器和现有融合方案比较全量问题效果。主表中打分器已取得大部分收益,因此复杂比较网络可以放在后面评估。

测试时还要留出新增检索器或新语料,观察选择是否仍然有用,并把各类请求上的质量与成本一起记录。这些是依据论文的试用建议,不是已经在其他系统验证过的结果。RAGCompass 的实用判断是:已经拿到多路结果时,直接检查它们能否帮助回答,比仅给检索器一个固定身份更有机会适应变化。

维度判断与理由
问题重要性高。不同取回结果对同一问题的答案价值确实不同。
方法创新性中。把段落组选择交给答案监督的共享 reranker。
实验证据中。筛选子集结果强于全量收益,迁移表现随数据集变化。
工程成本中高。需多路取回、标签生成和模型训练,在线只生成一次答案。
是否值得尝试有条件。适合已有多路结果且全量问答收益能覆盖额外成本的系统。

读完这篇,你觉得

点一下即可,无需登录;再点一次撤回。只统计匿名次数,不记录你是谁。

讨论

欢迎补充实验细节、复现经验或不同看法。需 GitHub 登录。

正在加载讨论…