02 4.00
把文字表示成对一串是非问题的是或否回答,是一种每一维都能读懂的 embedding,但问题成百上千,人看不过来。这篇论文给问题建层次,让人只读少量概括的问题就能解释,任务效果基本保持。问题这样得到:先把大规模文本聚成几大类,让大模型对比各类,写出能区分它们的问题;每个大类再聚成更小的类,同样写问题,所以浅层问题概括,深层问题具体,数量也更多。每个深层问题挂到意思更宽的浅层问题下面(示意:问是否谈到跑步的问题,挂在问是否谈到运动的问题下)。论文还发现,问题数量相同时,浅层问题得到的 embedding 比深层问题效果更好。
03 3.85
RAG 默认模型会按上下文里给出的关系去推理,而不是回头用预训练时记住的联想。这篇论文把这件事单独测:事实直接放进提示词,不做检索。题目从 Wikidata 的关系出发,按记忆、理解、应用、分析、评价五个层级出选择题,在几十个模型、六种语言上测。分析层要对照给出的事实排除相近的错误关系,评价层要判断哪个说法才是该关系的定义标准,光对照事实排除不了干扰项。结果是,从应用层到分析层,准确率断崖式下跌,每个开源模型系列都是如此,最多跌 47.2 个点,两个 Gemini 模型则不会。评价层更是瓶颈,Gemini 3.1 Pro 在其他四层平均 99.5%,评价层只有 60.7%。模型更强,并不保证能可靠地依据你给的证据推理。
04 3.65
RAG 和深度研究类系统会自己反复生成查询、检索、读文档,再决定下一步搜什么,但这类自主搜索策略缺少统一的评估方式。这篇论文给了一个简单框架:把搜索环境看成一组排好序的列表,策略只有两个动作,一个是在已有列表里继续往下判断文档,一个是靠生成或改写查询新开一个列表。每个动作都带来一篇要检查的文档,文档里的信息更新搜索状态,同时按任务目标(比如找到相关文档)记一份奖励,所以各种已有检索策略和检索目标都能放进同一套描述。在高召回检索上的实验显示,底层检索方法和深度研究策略都会明显影响效果。
05 3.75
个性化 RAG 要从很长的历史对话里找出用户偏好,难在两点:证据散落在不同对话里,单个片段不完整;偏好又依赖时间和场景,容易被混在一起。Weaver 先让大模型把当前请求拆成相互依赖的子问题,每个子问题还缺的信息就是一个缺口(例如请求是推荐活动,可拆成他偏好什么活动场所、他在人多的地方感受如何)。每找到一条线索,就用它去定位下一处缺失的证据,而不是一次检索完。再综合证据,判断哪些偏好适用于当前场景、哪些互相冲突,并更新还缺什么。在 PersonaMem 上准确率为 86.42%,比最强基线高 16.01 个百分点,在 PrefEval 上为 91.10%。
06 3.75
GraphRAG 的检索策略通常和自己的建图流程绑在一起,换一种建图方式还有没有效,很少有人测过。这篇论文发现,检索不一定要和图一起设计。ArcRAG 在回答问题时,从问题里提到的实体出发,现场整理出能走到的节点标签、关系描述和属性名,据此规划多跳查询,写成 Cypher 执行,出错再修复。同一套检索配置,在有类型和封闭关系集的图上,以及在开放信息抽取得到的无类型图上,都能用。开放图上 MuSiQue 的 EM 为 38.0,比结构化的图低 6.0;结构化的图上为 44.0,高于论文表里已报告的所有系统。建图方式仍会影响绝对准确率。
07 3.75
小模型做 RAG 受限于理解能力,让大模型在线读文档又太贵。CacheGraft 的做法是离线、每个语料段落只做一次:借用已有的 Cache-to-Cache 融合方法:一个训练好的融合网络逐层把大模型读这段文字得到的 KV cache 并入小模型自己读它得到的 cache,结果落在小模型的 KV 空间里,存起来备用。查询时,按 embedding 相似度选出相关段落,小模型直接加载它的融合 cache,问题仍以文字输入,在线不需要大模型。在五个问答基准上,无论用检索到的第一名段落还是标准答案所在段落,按两个 LLM 评审和是否包含正确答案三种口径,30 组对比里有 29 组好于只读文本的小模型,最多高约 8 个百分点,而融合器从没用检索数据训练过。只能部署小模型的场景可以参考。
08 3.75
提示里混进和问题无关的内容,比如不相关领域的陈述或随机 token,会让模型答错,RAG、工具调用、长上下文里都常见,但原因一直没讲清。这篇论文在模型内部追踪出一条干扰路径,并找到少数注意力头(本文称干扰头):它们把无关内容写进预测位置,推高和干扰项相关的内容,正确答案得到的支持随之变弱。干扰头和负责整合有用上下文的头基本不重合。把最后一个 token 被污染的表示换成干净版本,平均能追回干扰造成的准确率下降的 97.6%,但这需要多跑一遍干净输入,上线用不了。可部署的做法是关掉约十个干扰头,约占全部注意力头的 1%,能追回同一个下降的 57%。
09 3.45
法律判决预测要先检索法条和判例,但现有的法律搜索 agent 常直接拿案情当查询,漏掉潜在的法律问题和关键细节。LegalEvolver 训练模型写出信息量更足的查询。它先高温采样多样的检索轨迹,再改写其中的查询,补进案情里的行为、后果等关键事实,或按哪一步没做对,转去查构成要件、量刑档次,挑出成功的轨迹做监督微调。接着对比同一案件里成功和失败的轨迹,让大模型总结出评价查询好坏的评分细则。强化学习时,细则给每次查询打分,和判决对错的奖励一起用,每轮后用新轨迹更新细则。有细则指导优于直接 SFT 加 RL,会更新的细则又优于固定的细则。
10 3.40
律师找判例、研究者查背景文献这类专业领域的检索,和网页搜索很不一样:文档长、查询长、会话也长,用户的需求又很具体。这是一本关于领域检索的综述专著。它先梳理最常见的领域任务、数据集和应用,再讨论这些特点带来的挑战,以及模型的偏见和公平问题,最后介绍针对这些挑战发展出的模型和方法,包括查询处理、用户模型和用户交互。作者的结论之一是,领域检索里的不少方法进展可以迁移到其他领域,甚至开放域的网页搜索。