02 4.65
用大模型做文本检索,文档可以提前离线编码,查询却要实时编码,每来一个查询都要跑一遍大模型,吞吐低、部署贵。LightRetriever 让两边不再对称:文档仍用完整的大模型编码,查询端只剩查表。训练时把一段共享提示词接上单个词送进大模型,得到这个词的向量,查询向量取各个词向量的平均。词表里每个词的向量都能提前算好存成一张表,上线后查询只需查表再求平均。和在 A800 GPU 上跑完整大模型相比,查询编码快 1000 倍以上,端到端检索吞吐提高 10 倍以上,在多个检索基准上,平均保留完整大模型检索器约 95% 的检索指标。
03 4.40
CLIP 这类图文或音文对比学习模型,两种模态的向量虽然对齐训练过,却常常整体错开、各占一片区域,这叫模态鸿沟。这篇论文不改主干模型,只改向量所在的空间:把通常的单位球面换成概率单纯形,也就是每一维都不能为负、所有维加起来等于 1。实现上只在输出端接一个很轻的 softmax 适配器,相似度改用两个分布的总变差距离来算。两种模态被迫落在同一套坐标里,彼此的偏移基本消失。在五个跨模态检索基准上,两种模态中心点之间的距离缩小 97% 到 99%,检索效果持平或更好。
04 4.30
一些多模态向量模型会先让模型针对输入写一段推理,再把推理一起编码,得到信息更多的向量。但训练数据只告诉模型哪两样东西相关,从不告诉它该写什么推理,只看输入去摸索,很难找到对检索真正有用的推理。PILOT 让同一个多模态大模型扮演两个角色:一个只看输入写推理,另一个在训练时还能看到配对的正确答案,因而更容易写出有用的推理。后者写出的推理会挑一部分教给前者:一看用这段推理生成的向量检索效果好不好,二看前者只凭输入写出这段推理的概率高不高,两者都高的权重才大。上线时只用前者。在含 78 项任务的 MMEB-V2 上,2B 和 7B 模型总分分别提高 3.2 和 3.3 分,视觉文档检索提升最大。
06 4.10
波斯语缺少专门的训练数据和小巧的向量模型,稠密检索一直做不好。这篇论文从 Qwen3-Embedding-0.6B 出发,用一百多万对波斯语查询和文档继续训练,得到约 6 亿参数的 Yalda Embedding,训练和数据都公开。在 FaMTEB 的八个波斯语检索任务上,它在同规模模型里平均分最高,每个任务都超过原模型和另一个同规模的 F2LLM-v2,也已接近大好几倍的 Qwen3-Embedding-4B。消融显示,光做对比学习微调提升有限,还会让个别任务变差,把每批负样本从 63 个加到 511 个、加上梯度裁剪和学习率预热,再让它学习大得多的 F2LLM-v2-8B 对同一批文档的相对排序,分数才推上去。
08 4.00
用长段文字检索图片时,模型往往只盯着描述显眼物体的那几句,周围交代环境和细节的文字几乎不用。这篇论文把这个现象叫作显著性坍缩:把查询里写显眼物体的句子删掉一部分,检索准确率掉得比随机删同样多的字快得多。他们提出 RoSA,用物体级的视觉显著性估计切分图片,用大模型切分文字,把每对图文拆成显眼部分和背景部分两份。训练时额外要求两份各自对齐,让模型两种信息都学。长文本检索明显提升,显眼内容被删时也更稳,这些附加目标还能直接加到现有方法上。
09 3.75
办政务事项的问题里常常出现好几个地点,但真正决定该办哪项服务的只有一个,比如住在甲地却要给乙地的公司办执照。这篇论文为此做了一个阿联酋中英双语的检索诊断集,比较了十二种方法。先判断哪个地点决定要办的服务,只保留这个地点的服务条目,再融合关键词和向量两路排序,效果最好:在可回答的双语问题里,首条结果命中率约 96%,不过滤只有 65%。但负责判断要办什么、在哪办的路由模块很脆弱,问题换个说法、加句无关信息或带个否定,168 个变体里它只判对 2 个。
10 3.75
视觉语言模型看文档图片里的表格答题时,常对错行列、算错数,而微调要大量专家标注,门槛很高。这篇论文提出 Self-RefineVQA,不训练、不加标注,让同一个模型轮流当三个角色:先作答,再像审稿人一样检查答案和表格是否对得上,最后按检查意见改答案,如此循环几轮。小模型受益最大,Qwen2.5-VL 3B 在 WikiTableQuestions 上最多提升 13%,能和大得多的模型相比。代价是推理成本随轮数线性增加,但省掉了人工标注。