Directional Posterior Feedback Fusion for Query Reformulation in Dense Retrieval
用第一轮检索文档或大模型写的假想答案(HyDE)来改写查询向量时,常见做法是把反馈向量取平均再和原查询插值。
查找解读请用站内搜索。
用第一轮检索文档或大模型写的假想答案(HyDE)来改写查询向量时,常见做法是把反馈向量取平均再和原查询插值。
淘宝搜索的 CTR 模型主要靠商品 ID 记忆历史点击,==同一件商品换一张主图,模型几乎分不出差别==。
生成式推荐用 beam search 逐个生成物品 ID 的 token,==冷门物品生成概率低,往往前一两步就被剪掉==:Amazon 工业科学品类上,MiniOneRec 生成的 50 个候选只覆盖 11.94% 的冷门目标。
个性化奖励模型要给每个用户单独打分,但每人只标了几十对“两条回复选哪条”,大量没人标过的回复用不上。难点在于成对损失只约束同一提示下两条回复的分差,==不同提示的分数可以整体平移,单条回复没法用一个阈值判好坏==。
序列推荐模型给每条历史行为算表征时,==有的行为过一层编码就收敛,有的要堆叠多层才稳定==。三层 SASRec 里,76.1% 的行为第一层后就稳定,6.7% 要到第三层。LoopRec 让每条历史行为各自决定堆叠几层,不再整条请求共用一个深度。
独立研究者在 Llama-3.1-8B-Instruct 和 Qwen3-8B 上,按相同存储位数(稀疏位置索引也计入)和相同标称算力档位,比较"加 2:4 稀疏"和"降一档精度",并在 L40S、H100、RTX PRO 6000 上实测。
SGLang、NVIDIA 和 AMD 团队用插件框架把专用融合内核接入 SGLang,针对低并发场景减少内核间等待和跨卡通信。
海信的 RCSD 在用 HASS 蒸馏训好的投机解码草稿模型上,再用 DPO 或 GRPO 继续训练:目标模型自己生成的序列为"好",目标与草稿交替生成的序列为"差",GRPO 版用接受率打分。
Scitix.AI 的 UlaCache 把各 GPU 的 KV 池和 CPU 内存编进统一逻辑地址空间,==让 GPU 和 CPU 各存不同的历史==,并消除 MLA 在 TP 下的跨卡重复;GPU 池由所有请求共享,用分桶并行 LRU 决定换出。
生成式推荐按左到右逐个生成物品 ID 的 token,推理时想临时提高多样性,==只能中途改某一位,结果常拼出目录里不存在的 ID==。
韩国大学和 KAIST 让 Claude Code(Claude Opus 5.5)替搜索智能体设计检索工具:它读每道题的执行记录和得分,同时修改预先生成的索引文件、可执行的检索脚本和使用说明,循环 10 轮后选优化集上最好的版本。
东北大学和清华发现,边推理边检索时,==后面的子查询会沿着前面子查询的移动方向继续偏离原问题==,而且越往后越明显。MAPS 据此做两处改动:每轮只把提炼出的知识和一段推理摘要交给模型,不再给它看历史子查询;生成子查询前先列出几个互补方向,各写一个子查询并行检索后合并。
Parlant 原来每轮对每条客服规则问一次大模型是否相关,36 条规则每轮约 69,000 个 token。S&Q 改为离线让大模型为每条规则写 10 条应触发的用户消息和 10 条容易混淆的反例,训练一个逻辑回归;线上每轮只需一次 embedding 和 37 微秒 CPU。
IBM 构建了约 3,900 条的多轮 RAG 反问数据集 ClariEdge,专门包含"看起来含糊、但上文已能确定指代"的难负例,用来对 Granite 小模型做 LoRA 微调,判断要不要反问并列出候选项。
十万条历史行为让候选逐一匹配的成本过高,作者先筛选可复用的原始记录,再按候选查找证据。筛选器向完整历史教师学习,并让检索与聚合共享相关性参数。快手线上实验中,应用使用时长提高0.613%。
多个画像任务反复读取同一段长历史,造成大量重复计算。作者把物品内容预先压成可共享向量,再按时间拼回用户历史,配合分阶段训练减少信息损失。腾讯长期保留对照组的实验报告整体GMV提高1.37%。
用大模型反复修改文档编码程序,自动寻找更好学的检索索引。小型生成器负责快速筛选,最终再用目标模型检验,训练方法保持一致。NQ320K 的前百条召回率从 85.82% 升至 90.57%。
点击率模型常靠多次随机预测教自己,本文把这种训练改成可计算的分歧惩罚。门控只读取未遮挡的原始特征,让随机遮挡造成的预测差异可以直接估算。五个基准中,蒸馏版在 Criteo 的 AUC 达到 0.8169。
语言模型逐个阅读物品全文,在线推荐成本很高。作者把每件物品预先压成一个向量,再让排序模型结合用户历史和反馈打分;同一请求的候选共享历史缓存。在单张 H100 上,吞吐约为每秒 2.64 万个候选分数。
生成式检索不必把全部特征一次塞进模型。AGR 在生成物品短编码时,按当前分支调用意图、位置或历史行为工具,把结果压成观察标记继续解码。快手线上实验中,强相关前四结果请求占比提升 0.205%。
把读过的文章分别编码,再学习哪些文章更重要,可以避免长历史被截断。LSNR将词项加权与用户级语义扩展合并成稀疏向量,在MIND上的NDCG@10比稀疏基线STAR高约11%。
排序模型每次改动都跑完整训练,成本很高。Predictable Scaling用缩小的数据和网络预测改动收益,再用历史学习曲线估计误差;两个工业排序模型的训练计算量分别减少88%和79%。
把用户历史预先压成可复用的记忆,能减少每次排序时的重复计算。TransX 将序列编码、行为记忆和候选融合拆开扩容,并由离线、近线服务更新状态。独立线上实验中,基础模型的点击率相对生产基线提升 6.02%。
要随时调整准确率与多样性的取舍,可以复用各自训练好的模型。RecSoup 先按目标重要性裁剪参数增量,再用小网络把偏好权重映射为合并系数。在三个基准上,构造推理参数的延迟比超网络方案低约 165—228 倍。
推荐系统可以把召回与排序合并到一个模型里。Gryphon-v2 只编码一次用户历史,先生成 Semantic ID(物品的短编码),再用轻量排序头打分;教师只参与训练。Yandex Music 线上实验中,活跃用户数提升 1.41%。
针对多种查询改写结果既互补又可能漂移的问题,XViewRank 用三路归一化 BM25 分数与三组结果集重叠率构成六维特征,通过小型非线性网络学习融合。
新物品没有交互边,图推荐便无法从邻居获取兴趣信号。作者先用文本语义固定协同空间,再让独立学生网络学习表示方向,并在检索时恢复向量长度;Sports冷启动Recall@20比DropoutNet高20.8%。
多条查询改写共享一个下游奖励时,CASI 固定检索快照,比较不同查询子集的收益,再用 Shapley 值分配动作信用。五个独立训练种子下,留出集回放价值为66.70±3.40,高于 Singleton 的55.00±4.00;七天、10%线上流量实验中,广告主价值提升3.51%。
CDS 在短视频多任务排序中重复调用共享参数的特征交互块,以链长度增加计算深度,并用每轮残差稳定优化。压缩配置参数减少 26.6%、训练吞吐提升 6.4%,两个任务 AUC 分别为 0.7634、0.6787;线上参与度点估计增加 0.06%,但 95% 置信区间包含零。
DRanker 将 Disney+ 首页多个独立模型整合为双任务排序器,以丰富行为序列、相对位置自注意力和轻量因果塔预测参与概率与时长。全球实验中部署版本参与指标提升 0.48%,扩展到多个页面后提升 1.4%、DAU 提升 0.5%;约 700 万参数即可支撑大规模实时排序。