Beyond Ranking: Are Decision Models Calibrated Relevance Scorers?
Jev 这类决策模型不生成文字,直接给每个相关性等级输出一个概率,厂商还承诺这些概率是校准过的,可此前的独立检查都没拿它和人工分级标注对过。作者用 TREC 人工标注去对,发现它打到 0.9 以上的文档里只有 66% 真的相关,一起测的模型也都偏乐观。错的主要是刻度,用一年的标注拟合两个参数的 Platt 校准,换到新一年、新语料上照样能修回大半。
今日场景今天检索赛道的主线是,相似度和排序分数都不等于用户真正要的东西。Yuanbao-Reranker 让负例之间也分出先后,Jev 的校准研究发现排得准的模型概率照样偏乐观,好在两个参数就能修回大半。另一篇论文说明向量检索会偏向模型已知的答案,TRIAD 则发现把需求拆到多轮说,多模态检索几乎都会变差。工程这一侧,Lightfoot 把 GraphRAG 的精确删除做成数据库操作,NIFT-SQL 用每家客户自己的问题训练找表模型。 — 评分 82 篇,入选 10 篇,分数 4.10 – 4.40
用相关和不相关两个标签做 pointwise 微调的 reranker 有个缺口:同一个 query 的负例全都标成不相关,模型学不出哪个负例更接近正例。腾讯元宝搜索给每个正例配三个难度不同的负例,再加一项蒸馏损失:老师模型给出的两篇文档分差被当作下限,学生拉开到这个距离就不再受罚。在没参与训练的分组上,三档负例完全排对的比例从 36.4% 涨到 69.7%,而正负例的区分本来就接近满分。
Jev 这类决策模型不生成文字,直接给每个相关性等级输出一个概率,厂商还承诺这些概率是校准过的,可此前的独立检查都没拿它和人工分级标注对过。作者用 TREC 人工标注去对,发现它打到 0.9 以上的文档里只有 66% 真的相关,一起测的模型也都偏乐观。错的主要是刻度,用一年的标注拟合两个参数的 Platt 校准,换到新一年、新语料上照样能修回大半。
GraphRAG 上线后有两笔账论文很少算:建图花多少钱,删文档有多麻烦。合同到期或用户要求删除时,要把一篇文档和由它派生的内容都清掉,可混了多篇文档内容的实体摘要很难拆干净。Lightfoot 规定图里每条记录都只由单段的抽取结果算出来,每段只调一次模型,检索不调模型,删文档就是数据库操作,建图成本在三个数据集上也都最低。
用强化学习训练的 RAG agent 能学会找更好的内容,可同一类问题该按什么步骤推理,每次都要从头推一遍,只检索内容的方法在问题变深时就上不去分。问两部不同电影的导演生在哪国,步骤其实一样:电影、导演、国家。PatternBloom 把高分的推理过程抽象成只保留实体类型的模板(论文叫 Graph Pattern Memory),一共 27 条,放在模型外面,回答时先查模板再沿着模板找证据。在训练时没见过的五个数据集上,7B 版的平均 EM 是 49.0,同为 7B 的训练型方法里最高的 Search-R1 是 38.1。多跳问答里反复出现的推理路径,本身也可以当检索对象。做 agent 搜索的团队可以把常见问题的查询步骤沉淀成人能读、能改的模板,不过这里的实验都在维基百科语料上。
向量检索本该按 query 问的关系找段落,可检索模型自带世界知识,这篇发现它会偏向模型本来就知道的答案,冷门或更新的答案可能因此吃亏。作者造了成对的句子,一种只换答案实体,另一种让关系对的句子配替代答案、关系错的句子配熟悉答案。八个检索模型上,模型给某个答案的概率越高,含这个答案的段落得分就越高。在模型本就偏向标准答案的样本里,Qwen3-Embedding-8B 只换答案时有 94.6% 选熟悉的那句,无偏时应是 50%,关系错的句子也有 65.0% 排在前面。答案不止一个或者会过时的查询,召回容易被模型记住的答案带偏。实验句子都是模板生成的,不过在答案本来就有多个的 QAMPARI 上,各检索模型同样偏向已知答案。
长上下文推理前先筛一遍内容能省 token,也可能把答案证据筛掉,而截断、检索、压缩这几类方法一直缺一个统一的比法。CoRA-Bench 在相同 token 预算下比了截断、BM25、向量检索、重排和两种压缩方法,证据召回和答题准确率都在同一份筛选结果上算,结果没有哪种方法通吃。在证据和问题字面重合很少的 NoLiMa 上,向量检索的证据召回是 0.908,BM25 只有 0.467,到了字面线索明显的 BABILong,BM25 反过来领先。保住证据也不等于答对,会改写文本的 Provence 在 LongMemEval 上按逐字标准几乎没留下完整证据,答题准确率却有 66.60%。选上下文筛选方法时,证据召回和答题准确率要分开看,做长文档问答或记忆检索的人可以按自家证据靠字面匹配还是语义联想来挑方法。
agent 场景下的多模态检索,排在前面的结果可能很相似,却不满足用户的要求,而这些结果常常直接进入下一步推理或工具调用,没有人帮忙把关。TRIAD 用上下位概念、正反约束、多轮对话三类任务测了二十种模型配置,没有哪个系统在六个子集上全部领先。多轮任务的结果最明显:把同一个最终需求拆成几轮说,40 组比较里有 39 组 mAP 下降,掉分集中在用户中途改条件的会话,比如先要橙色后改蓝色。只留最后一轮也救不回来,整体上比保留完整历史更差。加上显式推理也不是万能的,效果随模型和任务变化。多轮检索既要留住还有效的条件,又要清掉被改掉的旧值,做对话式搜索的团队应该单独测用户改口的会话。
企业文本转 SQL 的第一步是找表,可 schema 里常常只有晦涩的表名和列名,一条查询要用的表少找到一张都不够,通用检索在这里很吃力。NIFT-SQL 用每家客户自己的示例问题单独训练,让一个小 cross-encoder 逐表判断这张表是否必需,再和同样微调过的混合检索融合。在近千张表的 LiveSQLBench-Large 上,把需要的表全部排进前十五位的问题比例,未微调的混合检索是 21.8%,NIFT-SQL 是 85.6%,只微调检索器也有 70.4%。这个领先并不稳,换到更新的 BEAVER 版本、只用合成问题训练时,它在真实问题上输给了只微调的检索器。手里有标注问题时,微调检索器本身就是便宜又强的基线,打分模型的价值在能放进上下文的表很少时最明显。
RAG 检索回来的段落可能支持一个说法,也可能反驳它,现有的校准方法大多只管支持这一边,反驳的证据没人兜底。这篇用共形预测(靠一批带标注的样本定阈值,给出覆盖率保证)给支持和反驳各出一个证据集,保证每边按设定的概率至少含一条真证据,前提是相关证据已经被检索回来。换打分模型时差别最清楚,换成弱模型后证据覆盖率仍贴着目标,判断准确率却从 0.898 掉到 0.516。数据分布一变,覆盖率也守不住,FEVER 上最多少了 12.7 个百分点,要用部署环境的带标注数据重新校准。证据找得全和结论下得对是两件事,做 RAG 评测时要分开报告,打分模型弱的问题靠校准补不回来。
Late Chunking 先编码整篇文档再切块,上下文保住了,同一文档里相似的文本块却更难区分,比如同一个球员不同赛季的进球记录。在用同文档负例微调的基线 InSeNT 上,排错的问题里有 82.21% 是同文档的另一块得分压过了正确块。阿里 Qwen 团队的 DcLBC 改了两处。一是看正确块和同文档得分最高的错误块差多少,差得越小,这条 query 的分数放大得越多,二是把文本块边界告诉编码阶段的注意力层,两处都不动 embedding 维度和检索流程。按同文档竞争强度分四档看,NDCG@10 的提升集中在最难的一档,加了 5.46 个点,容易的两档几乎不动。长文档检索的错误,很多出在同一文档内部的区分上,做段落检索时值得把这类错误单独统计。