02 4.45
RAG 的分块方案几乎都只在一份静态语料上比较,可知识库里的文档一直在改。每个块单独编码成向量,一次编辑如果让块边界移动,边界两侧的块就成了新的编码输入,哪怕里面的字一个没改。作者取相邻版本的中英文维基百科条目,只有块的完整编码输入和旧版本逐字节相同才复用旧向量。比较的是固定长度切块、段落优先的递归切块和内容定义切块,最后一种在几个词宽的滑动窗口上算哈希,哈希值满足预设条件的位置就是切点。固定长度切块要重算新版本 57–68% 的编码输入,而三者的证据召回率在同一种语言内相差不到 2 个百分点。固定长度切块在插入点之后整体平移,后面的窗口都对不上旧版本,所以重算最多。
03 4.15
写证明的人和编码智能体都要先在 Lean 证明助手的数学库 Mathlib 里搜到合适的定理。真实的搜索查询很短,短查询会省略很多意图,同一句话可能对应好几条相近的定理。Lean Finder V2 从两头解决这个问题。模型一侧,作者用强化学习训练一个查询生成器,专门为每条定理写当前检索器排不准、但意思仍然对得上的短查询。用这些查询训练检索器,再用新检索器给生成器打分,交替两轮。输入一侧,作者自动优化一个改写提示词:用候选提示词改写一批合成查询,看检索器把目标定理排到第几,只保留排名有改进的版本,检索前用它改写用户的短查询。在人写短查询组成的 MathlibQR 上,Lean Finder V2 的 Recall@10 是 0.893,此前最好的检索加重排系统是 0.780。
04 3.90
RAG 链路
多模态 RAG 把检索结果交给模型前先压缩时,保留多大一块不能一刀切,有时要整张表,有时一行,有时一句话。CANOPY 按问题逐块决定保留粒度,在答对率相当的情况下,把交给模型的证据 token 减少 14.2% 到 27.7%。它把每条检索结果组织成层层嵌套的区域,比如整张表、几行、单独一行,用一个训练过的编码器给每个区域和问题的相关程度打分;小区域的分数不低于所在的大区域时就换成小区域,否则保留更大的上下文。另有一个大模型检查证据还缺哪条事实,缺就再搜一次,新结果同样先压缩。压缩证据时,该留多大一块要看问题,有时一整行比一句话更有用。
05 3.85
多模态匹配
Alibaba
阿里云说,它给 Elasticsearch 加上自研的 C++ 查询内核 FalconSeek 之后,在 Rally Big5 这组典型 ES 查询上,耗时的几何平均快了约 6.87 倍。ES 照旧负责 API、写入和集群管理,只把倒排遍历、排序、聚合和向量召回这些最耗时的查询步骤交给 C++ 内核执行,暂不支持的查询退回 ES 原来的执行方式。向量检索先用压缩过的向量在 HNSW 图上找候选,再读原始向量精排,在一千万条向量的测试集上召回率约 0.98 时,每秒能处理 8 万多次查询。模型一侧,他们开源的多模态文档 embedding 模型在 MMEB VisDoc 榜单上排第一。这些都是厂商自己的测试,文中也提醒各对比对象的机器规格并不一致。给 agent 供上下文的搜索,要把引擎和模型放在一起优化。
06 3.90
问答与深度研究
Tencent
大模型的知识有时效,回答今天天气怎样这类问题得上网查。腾讯云 TokenHub 把联网搜索做成了模型自己调用的工具:打开以后,模型自己判断要不要查、写什么搜索词,再根据搜索结果组织回答,并标出引用来源。开发者只需要选轻量版还是标准版,以及每轮注入多少搜索内容,搜几次由模型自己决定。这是一份产品接口文档,没有效果测试。
07 3.80
问答与深度研究
CMU
检索到的段落如果更常提到一个只满足部分条件的错误答案,模型就容易被带偏;把每个候选放在同一组条件下逐条核对,再一起比较,能明显减少这种错误。在 AmbigQA 里检索偏向错误答案的难题上,Qwen3-30B 直接一步步推理答对 86.4%,用这个方法答对 93.5%。做法分三步。先把问题拆成每个候选都必须满足的条件,比如问哪位女演员说过某句台词,答案就必须是女演员而不是她扮演的角色。再对照检索到的段落逐个检查候选,写下是否满足以及理由。最后把所有候选的报告放在一起比较,选出满足全部条件的那个。问题带限定条件时,先逐条核对再比较,比直接作答更稳。
08 3.50
RAG 链路
分层 RAG 里,大模型要从候选章节里挑出几节往下读,通常是一个 token 一个 token 地写出选择,其实可以一次算完,选出的章节和逐个生成基本一致,挑选环节的延迟降低 35% 到 47%。每个候选章节绑定一个单 token 的标签,模型在该写下一个标签的位置给出的 logits 里,只看这些标签,就得到各章节的得分。先处理一遍提示,按得分选出第一节。贪心地连选三节时,第一节定下后,后面只会用到几种前缀:只含第一节的,以及第一节加某个候选第二节的;把这些前缀全排进一段输入,每个前缀只能看到提示和它自己前面的部分。一次前向计算就拿到每个前缀下各章节的得分:只含第一节的前缀给出第二节,接上这个第二节的前缀再给出第三节。
09 3.55
自动写综述时,把论文之间谁扩展了谁、谁改进了谁建成图,再沿着图找文献,引用会更有依据,但图里的关系本身也会出错。用一批大模型函数调用论文建一张图,再用 Qwen 写一篇综述,和同样的论文、同样的大纲但去掉图关系的版本相比,带引用的句子能被所引论文支撑的比例高了 2.8 个百分点。SurveyGraph 把方法、任务、数据集等实体连成图,写每一节时沿着图上的关系找相关论文,再生成和修改;证据不足的关系可以在用来检索之前过滤掉。人工抽查 108 条关系,只有 68.5% 完全或部分成立,比如有一条说某篇科学工具使用的论文扩展了 API-Bank,可 API-Bank 是评测基准,不是前一代方法。
10 3.20
RAG 链路
把多个基因集数据库合成一张知识图谱做富集分析,结果和传统做法几乎一样,查询却快得多,还能看出不同条目通过哪些基因相连。富集分析看一组表达明显变化的基因是否集中在某条已知通路或功能条目里,传统做法对每个数据库分别跑一遍,得到几张互不相连的列表。这里把各数据库的条目和它们注释的基因建成一张图,共享基因把不同库的条目连起来。每个条目按变化基因是否明显偏多打分,再在多收高分条目和少连边之间权衡,取出一小片经共享基因连通的子图,连不过来的高分条目舍掉,交给大模型写解释。在 42 个真实查询上,查询时间的中位数快了 37 倍,各条目得分和传统做法的皮尔逊相关系数平均是 0.997。