AI 搜索
拿新出的决策模型给检索结果重新排序,并不比专门微调的重排序模型好,这是帕绍大学这篇论文的结论。决策模型也叫 System One 模型,对一个问题直接给出校准过的“是”的概率,不生成文字,刚发布几周就被拿去做重排序。
AI 搜索
用大模型做文本检索,文档可以提前离线编码,查询却要实时编码,每来一个查询都要跑一遍大模型,吞吐低、部署贵。LightRetriever 让两边不再对称:文档仍用完整的大模型编码,查询端只剩查表。
AI 搜索
CLIP 这类图文或音文对比学习模型,两种模态的向量虽然对齐训练过,却常常整体错开、各占一片区域,这叫模态鸿沟。这篇论文不改主干模型,只改向量所在的空间:把通常的单位球面换成概率单纯形,也就是每一维都不能为负、所有维加起来等于 1。
AI 搜索
一些多模态向量模型会先让模型针对输入写一段推理,再把推理一起编码,得到信息更多的向量。但训练数据只告诉模型哪两样东西相关,从不告诉它该写什么推理,只看输入去摸索,很难找到对检索真正有用的推理。
AI 搜索
企业很多知识躺在扫描版 PDF 里,传统搜索读不出来。Elastic 这篇教程搭了一条检索增强生成流程:上传一份 56 页的扫描版植物指南,用自然语言提问,几分钟内得到带页码出处的回答。
个性化推荐
本地生活和直播电商的广告按门店或直播间排序计费,用户真正买的却是店里某张团购券或某件商品,直接估一次点击能带来多少成交额,标签忽大忽小,很难学。
个性化推荐
CTR 模型通常把长期行为和短期行为各自编码,再拼接或过门控合成一个兴趣向量,短期行为里大促囤货、帮别人买东西这类一次性噪声,会被直接写进长期偏好。京东这篇 ICLR 2026 论文把长期兴趣当底稿,先加噪,再以最近几段会话为条件一步步去噪,生成融合后的兴趣向量。
个性化推荐
长历史推荐模型为了省算力,会把用户几千条行为压成一小组向量缓存起来。Duke 和 Meta 的这篇论文发现,这种缓存几乎记不住用户最近的行为,很久以前的老行为反而保留得最好,==最近的兴趣被老兴趣盖住了==。
个性化推荐
推荐模型训练时要从用户没点过的物品里抽负样本,随便抽学不到东西,专挑模型打分高的又容易把用户其实会喜欢、只是没刷到的物品当成负例。
系统与索引
大模型强化学习通常用一套推理引擎生成回答、另一套框架训练,就算权重相同、都用 BF16,两边算出来的数也会有细微差别,本该是同策略的更新悄悄变成了异策略,训练可能突然崩掉。
系统与索引
检索增强生成要把多篇检索到的文档拼进上下文,每次都从头算这些文档的 KV 缓存很贵,于是有方法把每篇文档的 KV 缓存存起来、用时直接拼接。但长文档的 KV 缓存很大,存储和读取本身成了瓶颈,直接压缩后再拼接,准确率又会明显下降。
系统与索引
以前在 Qdrant 里用 BM25 给关键词搜索结果排序,得先把每篇文档和每个查询都转成稀疏向量,平均文档长度还要自己维护,数据一变就不准。
系统与索引
大模型强化学习后训练里,生成回答常常占到训练时间的七成以上。这篇论文注意到,同一道题在前几轮训练中生成过的回答很像这一轮要生成的内容,可以直接拿来当草稿。他们提出 NgramRL,==每道题只用自己最近几次的回答建一个 n-gram 草稿表==。
生成式推荐
推荐系统里首页、搜索和相关推荐通常各有各的召回模型,因为三处要的东西不一样:首页看用户会不会保存,搜索看会不会点出去购买,相关推荐看会不会继续往下逛。
生成式推荐
用 Semantic ID 逐位生成下一个物品编号的生成式推荐,有一个系统性的偏向:华南理工大学这篇 KDD 2026 论文发现,用户历史里和目标物品同类的东西越少,它就越不如只看行为的老式序列推荐模型,最差的一组里 TIGER 的 NDCG@10 比 SASRec 低 30%。
生成式推荐
用户在网上挑东西,通常是先看大类再挑具体商品,但大多数生成式推荐在编 Semantic ID 时,把物品的类目、标题、描述和协同信号揉成一个向量再量化,这种由粗到细的结构就丢了。
生成式推荐
用 Semantic ID 做生成式推荐时,训练只告诉模型下一个物品是哪一个,同一段历史下其他物品有多大可能,模型学不到。传统序列推荐模型能给出这种概率分布,但它给物品打分,生成模型却逐位预测编号,知识很难直接蒸馏过去。
具身智能
这篇论文发现,基于流匹配的视觉语言动作模型里,求解动作的迭代步数和每次执行的动作步数是耦合的,最优选择还会反转。这类模型从一段随机噪声出发,用数值求解一步步把它推成一段平滑的动作。部署时通常把两者分开调:执行步数用来摊薄推理延迟,迭代步数则保持很高以求精确。