Re$^3$Rank: Listwise Reranking with Reasoning-Conditioned Retrieval Heads
Re3Rank 改的是注意力重排里拿什么去看候选:先让一个模型读完问题和候选,写一段推理过程,再让另一个模型拿推理里的 token 去看,按每个候选分到的注意力排序。已有做法让问题本身的 token 去看,可问题常缺找证据要用的关键信息。
查找解读请用站内搜索。
Re3Rank 改的是注意力重排里拿什么去看候选:先让一个模型读完问题和候选,写一段推理过程,再让另一个模型拿推理里的 token 去看,按每个候选分到的注意力排序。已有做法让问题本身的 token 去看,可问题常缺找证据要用的关键信息。
让模型查论文时直接看页面截图,而不是先把 PDF 转成文字再搜,问答准确率会更高,检索次数还更少。DR Pixel 把约 106 万张论文页面渲染成图,每张图编码成一个向量。
搜索重排可以不训练任何参数,就照顾到用户写在 query 后面的要求,比如要写给新手的、要某种语言的、只要官方来源。DMReranker 把带要求的 query 拆成主题和几条具体条件,让一个小模型对每条条件只回答一个窄问题,再把各题判定满足的概率乘起来当总分。
用 MCTS 帮大模型在知识库上一步步查答案时,中间步骤可以不训练奖励模型、也不模拟到底,就打出有用的分。办法是把截至这一步的查询记录交给一个开源指令模型,分别算带上原问题和不带原问题时这段记录的困惑度。带上问题后困惑度降得越多,说明查到的东西和问题越相关,这一步的奖励就越高。
CTR 模型里把价格、次数这类数值特征变成向量的方法有十几种,放到同一个公平的比较里看,并没有一种能通吃。以前很难比清楚,因为各家论文的预处理和训练流程都不一样。这篇论文把 18 种做法放进同一套代码,给同样的调参预算,在多个数据集和主干模型上逐一比较。
广告 CVR 模型靠购买、安装这类转化事件做训练标签,但转化很稀少,Meta 这个模型的训练样本里约一半拿不到转化标签。论文借别的信号来补:点击前看广告的时长、加购事件、广告内容的语义等,都作为辅助任务和主任务一起训练,上线推理不增加开销。辅助信号往往很吵。
新闻发布方可以让大模型把标题改得更抓眼球,事实一个字不动,排名却能往上走。这篇论文提出的防御方法叫 PACT,它只改训练。事先用很多种大模型和改写方法,给训练集里的新闻各生成一批改写标题。
刷单检测几乎只报一个 AUROC,可这个数说明不了检测器什么时候可信。这篇论文搭了一套审计框架来检查这件事。常见的假账号注入都能被抓住。
前缀缓存下的 prefill 排队,可以同时做到中位延迟低、长尾也短:队列短时优先跑命中多的便宜请求,一个请求等得越久(和它自己的 prefill 时长相比)就排得越靠前,同时限制便宜请求最多能插到最老请求前面多少计算量。这就是 Fairway 的做法。
DeepSeek-V4、GLM-5.3 这类学习式稀疏注意力里,每个 query 只对 k 个键做注意力,但挑出这 k 个键的小打分网络仍要给前缀里的每个键打一遍分。上下文到 100 万 token 时,这一步占了 prefill 时间的一半以上。
一阵十分钟的流量高峰,就能让 prefill 和 decode 分离部署的 agent 推理服务一直恢复不了。高峰过去、流量回到原来的水平以后,在 SGLang 上之后一小时的有效吞吐仍下降约 88%,而且==故障前利用率和队列长度几乎看不出征兆==。背后是一个循环。
GPU 上做高召回的向量检索,图检索慢在一轮等一轮的串行链上,而不是算距离本身。OctEx 把 GPU 显存花在建库时预先算好的近邻列表上。它把数据随机投影成几百份低维副本,每份把空间切成格子,并给每个格子存一张离格子中心最近的向量列表。
KV cache 放不下时,vLLM 和 SGLang 都从缓存序列的末尾开始删,为的是保住开头那段能被很多请求共用的前缀。但 agent 每一轮都会把很长的历史重新发回来,而越靠后的 token 重算越贵,因为它要和前面所有 token 算注意力。
vLLM 里现成的批量 LoRA 内核只要改几处,就能把 DoRA、(IA)³、VeRA 和 OFT 这些非 LoRA 方法训出来的适配器,和 LoRA 放进同一个 batch 精确地跑,不必先转成 LoRA。
让学生模型自己生成、老师逐位给出完整概率的蒸馏(OPD)能让生成式推荐训得更快,但学生会越来越偏向热门商品。原因有两头:老师的概率本来就偏爱热门商品的 SID,学生自己生成时也很少走到冷门商品的 SID,这些路径几乎拿不到监督。
快手这篇论文在生成式推荐里两处以前只看内容和概率的地方加入了视频价值:SID 最后一个 token 里留出 3 个比特,记下视频的价值档位:用 7 个边界把一项价值统计(如历史点击率)从低到高切成 8 档;束搜索每一步,一个小模块预测候选的观看、点赞等行为,各项预测归一化后加权求和成价值分,乘上系数加到生成概率的对数上,再按总分剪枝。
阿里淘天这篇 CIKM 论文让一个大模型同时承担点击、分场景、长尾、兴趣探索、带搜索词等多种召回目标,总体效果还好过工业界常用的多任务召回模型。
Meta 这篇论文给每个创作者在语言模型的词表里单独加一个 token,用它取代 SID。原因很直接:SID 是多对一的编码,好几个创作者会共用同一串 SID,模型即使生成对了 SID,也还得猜用户要的是其中哪一个。
生成式推荐用束搜索逐位生成 SID,想少漏好结果,通常的做法是把每一步的宽度一起调大。这篇论文在 TIGER 的六组完整测试设置里逐个排查:按模型自己的打分本该进前 10、却被剪掉的结果,全都是在第一步就丢掉的。所以更划算的做法是把宽度集中给第一步,后面几步收窄。
做 SID 生成式推荐时,用户最近冒出来的新兴趣常被大量老行为盖住,所有用户也共用同一套输出变换。论文在 TIGER 这类模型上补这两处。生成之前,模型额外加两个专门的思考 token,一个只读用户的全部历史,一个只读最近几件物品。
人形机器人去抱箱子,手一靠近,箱子就会挡住头上的深度相机,可控制器还得把抓起、搬走、放下这一整套做完。这篇论文让机器人主要靠关节状态那条通路行动,深度画面只当作一路由学出来的门控缩放的修正,设计上希望画面不可靠时少放进来;前几帧攒下的信息存在循环层的记忆里,画面断了也不会马上丢。
对话式 RAG 评测里,判断检索内容够不够回答常走一条捷径:检索结果里没有标注过的相关文档,就算答不了,模型这时拒答算对。作者在 RECOR 上换了四个检索器重跑,发现检索器越强,这条捷径越不准:没有标注文档、其实却含有答案的上下文,从 28% 升到 72%。
用大模型做 listwise 重排效果好,但要逐个生成文档编号,很慢。只看第一个 token 上各文档编号的分数、一次排完要快得多,难点是怎么把大模型老师的排序能力教给这种学生。
基于 BERT 的 cross-encoder 是最准的重排模型之一,但它内部怎么判断相关一直说不清。
研究者找实验步骤时,往往同时带着好几个条件,比如某种细胞要在特定温度下培养,但不能用 DMEM 培养基;而一段方法描述里常常并列写着几套实验方案,所有条件必须落在同一套方案上才算找对。ProSearch 把这类需求做成覆盖六个实验科学领域的检索评测。
现成的检索 embedding 里带着能读出来的分类树信息。作者发现,用 Matryoshka 训练(MRL)的 embedding 把分类信息主要放在靠前的维度:按原顺序截取前一小段,比打乱后截取或截取末尾更能把同类概念聚到一起。
多任务排序模型做得越大,加一个新预测目标就越慢。YouTube 的办法是新目标不进主模型,而是做成一个挂在共享层上面的小预测头(论文叫 Light Head)。它只读共享层的输出、不往下传梯度、每次训练开始时清零重学,所有排序模型从同一份配置里读到它。
同一个用户面对同一页推荐,这次可能刷到第 20 条点了两件,下次刷到第 8 条就走了;日志只记下其中一次。BrowseFlow 认为用户模拟器该学的是这种结果的分布,而不是复刻那一条日志。
让短请求先跑能明显降低平均延迟,前提是提前知道每个请求大概要生成多长,而现有的长度预测器换个领域排序就会变差,本身还要占 GPU。LEAP 发现,服务模型做 prefill 时算出的隐藏状态里已经带着输出长度的信号,在一层隐藏状态上接一个线性层就能读出来,不用另跑一个编码器。
混合模型的[[循环层|混合模型里和注意力层搭配使用的一类层。它不为每个 token 存 KV,而是把读过的内容不断压进一个固定大小的状态。]]会把整段前缀压成一个固定大小的快照,没法截短回更早的位置。所以 KV 明明还在,只要匹配位置的快照没存过或已被淘汰,就要从更早的快照甚至从头重算一大段。HiState 抓住一个不对称:一次缓存命中要读所有匹配的 KV,却只读一个快照,而且快照大小和上下文长度无关。