02 4.30
让一个强 LLM 扮演搜索用户,一个没见过训练数据的判别器能以 AUC 0.88 认出它写的话。对话搜索用户模拟器 AutoSim 就是这样:它按检索效果给检索系统排的名次,和 NIST 官方评测的排名一致,说话却离真人很远。作者让模拟器朝真人自我改进:改提示词时,另一个模型对照真人行为的差距写出修改方案,评分器按各类差距(比如话太长太客气、不会省略前文说过的内容)在校准集上打分,不退步才保留;改模型权重时,先用真人话语微调,再反复挑出判别器认为最像人的生成话语继续微调。只改提示词,判别器 AUC 降不到 0.85 以下;改模型权重,AUC 降到 0.45。像不像人会改变评测结论,在真实用户检索效果很差的地方,靠提示词的模拟器把 nDCG 高估了 0.136。
03 4.30
问一个关于选举参与的问题,完整的回答应该同时讲到投了票、没投票、没有投票资格三种人;如果上下文里全是投票者的回答,哪怕每条都准确、相关,也只代表了一种观点。LMVU 是一个只有 18 个系数的线性排序器,每一步用候选和已选证据之间的相似度算出新颖度等特征,估计它能给当前上下文补上多少还没覆盖的观点,系数在带观点标注的开发集上学出来。作者用上下文覆盖了标注观点中的几成来评价。在四个带观点标注的基准上,LMVU 的平均覆盖率是 0.9588,超过全部 16 个对比方法,其中包括两个训练成本高出几个数量级的神经重排器。
04 4.30
在 RAG、上下文示例选择和智能体记忆里,同一个查询通常要过两遍模型:先由 embedding 模型编码成向量去检索,再由生成模型重新读一遍来作答。两个模型分开训练,对同一个查询的理解从不互通。生成模型为了写出连贯的答案,隐状态里本来就要有一份和答案相关的查询理解,而这正是好的 embedding 该有的东西。ULME 在因果解码器的查询后面插几个可学习的 token,专门用来读出 embedding(下文叫槽位),再加一个损失,让最后一个槽位的隐状态去对齐同一次前向里答案部分隐状态的平均,梯度只回传到槽位一侧,答案的信息就单向流进 embedding。同一个 ULME 检查点在 MTEB 上比同骨干最强的开源基线高 3.3–4.1 分,同时在 MMLU 等测试上和只做生成微调的模型持平或更好。
05 4.30
在作者评测的重排器上,NanoBEIR 有 45.6% 的查询,nDCG 分不出高下。根源在人工相关性标注稀疏、有噪声,只有几个离散等级。RCP 先让 LLM 每次读 10 篇文档打分,同一篇会进多个批次,批内一篇比另一篇高得越多,它越可能更相关,Bradley-Terry 模型据此合成每篇的总分。再让 LLM 对每篇回答五个由易到难的是或否问题,从是否切题一直问到是否深入回答了查询。再借助项目反应理论把总分平移、缩放成能力值,能力值比题目难度高得越多,预测通过率越高;题目难度各查询共用,只有平移和缩放按查询拟合到贴近实际回答,不同查询的分数就落到同一把尺子上。以外部标注员的盲评为准,RCP 把有用文档排在无用文档前面的概率做到 0.910,原来的人工标注只有 0.651。
06 4.05
搜索型智能体常常没搜齐证据就开始答题,原因是它不知道自己还缺什么。作者在训练时让模型回看自己的搜索过程,指出哪些要求已经有证据、哪些还缺,再接着搜;如果这次检查让错答变成了对的就给奖励,检查次数越多扣分越多。测试时不需要这个检查步骤,模型自己就会把缺的信息搜齐。把这段检查换成随机反馈作对照,平均准确率是 41.2,真实检查训练出来的是 55.5。
07 4.00
做图检索时,只抽出实体—关系—实体三元组会丢掉推理需要的上下文。作者改为把原文切成片段,相邻的、语义相近的片段之间连边,再从和问题最相关的片段出发,用个性化 PageRank 沿边扩散分数,剪掉得分低的片段,把剩下的按原文结构串成证据链。HotpotQA 上,其他都不变,只把三元组图换成这种保留原文的图,答案完全正确的比例就从 0.288 升到 0.414。
08 4.00
CLIP 的文本编码器只读得下很短的文字,长描述后半段会被截掉;只用两万对图文训练一轮,就能让它的长描述检索明显变好,而且推理时模型结构一点不改。训练时把长描述按句拆开,每句单独编码,再取平均或用一个小网络加权合成一个长描述向量,和图片向量做对比学习,同时要求图片和短描述的向量贴近冻结的原版 CLIP 给出的向量,避免丢掉原有的零样本分类能力。推理时没有拆句这一步,模型就是原版 CLIP,长描述照样截到 77 个 token,完整描述只在训练时用来调整编码器。这样长描述检索的 R@1 提高 6.5 到 11.2 分。长文本检索未必要换模型,训练时把长描述喂进去就有收益。
09 3.90
视觉文档检索不必让每个查询都用最大的多向量表示,按查询挑一个合适的小表示,能省下约两成计算,检索质量几乎不变。同一个检索模型上训练出一族更小的表示,可以少走几层编码器、缩小向量维度或减少向量个数。查询编码到所有候选表示都会经过的最浅那一层时,系统把这一层各 token 的隐状态取平均,交给一个小预测器,估计每种表示在这个查询上能拿到的 nDCG;再按可调的算力偏好权衡分数和计算量,选定一种,编码到它对应的层就停。在 ViDoRe V3 的工业文档测试上,计算量省了 20.4%,nDCG@5 只降了 0.86 个百分点。同一个检索模型可以按需要调整计算量,不必换模型。
10 3.90
文档图片检索要给每页存大量图块向量,压缩时最怕少数几个代表向量把整页信息都包揽了。作者把每页压成少量代表向量:反复把相似的图块分给各个代表,再根据分到的图块更新代表;每个图块的权重取视觉语言模型自注意力里它收到的注意力总和,同时规定每个代表接收的图块权重加起来大致相同。每页向量压缩 50 倍时,nDCG@5 比聚类压缩的 Light-ColQwen 高 19.4 分。