WeGR: Unified Generative Retrieval for Industrial Search Systems in WeChat
WeGR 将协同行为感知的 CoCo-VAE 语义码与动态视野策略优化 DHPO 结合,解决工业生成检索中的码本塌缩及精确匹配奖励稀疏问题。
查找解读请用站内搜索。
WeGR 将协同行为感知的 CoCo-VAE 语义码与动态视野策略优化 DHPO 结合,解决工业生成检索中的码本塌缩及精确匹配奖励稀疏问题。
论文压缩学习式稀疏检索的倒排与正排索引:用块内代表文档替代摘要向量,对重排词表后的差分编号进行 SIMD 位打包,并使用逐词项 4 位量化。在 MS MARCO 的三种编码器上,等精度时最高比 SINDI 快 5.3 倍、内存约少 3 倍;这些是配置相关的最优结果。
论文研究有限宽度 beam search 如何限制 Semantic ID 推荐的候选可达性,并提出单步连续查询 CQG-Single 和连续残差生成 CQG-AR。
将模型内部知识与外部检索证据分为可观察的两条信息流,并用来源一致性奖励约束搜索 Agent,避免答对却编造依据。3B 模型七项问答平均准确率为 0.414,Search-R1 为 0.372;证据编造率从 16.08% 降至 4.05%,相对下降 74.81%。
做记忆检索时,一整条记录压成一个向量,常常把长对话里的一句关键信息稀释掉。这篇论文把向量模型本来就算好、却被丢掉的 token 表示存下来。
生成式推荐优化长期留存时,延迟奖励容易被归给最近而非真正相关的行为。EWM 用语言模型解释已发生的轨迹,再以守恒层级算子递归重分配奖励。KuaiRand 离线 AUC 提升 1.99 个百分点;工业回放 Recall 为 SFT 的 3.75 倍,尚无线上 A/B 结论。
SEEDS 将证据准入独立于召回:先展示轻量预览,再由智能体根据当前推理状态选择任意子集,而非固定读取前几条。论文覆盖9个问答基准;Search-o1接入后,本地平均全文阅读数从30.2降至12.6,在线搜索准确率从9.28升至11.78,页面阅读数从27.81降至8.30。
针对本地搜索中语义、距离与口碑信号难以联合比较的问题,H2CE 将数值分桶文本与精确数值 MLP 同时输入异构 cross-encoder,再对首阶段前十名进行成对重排。
阿里提出 MARI,将搜索、浏览、收藏和购买日志蒸馏为包含意图、偏好及回避因素的结构化决策记忆,再检索记忆辅助 LLM 推荐。
RIT-RAG 将召回与阅读解耦:先用检索命中的段落及祖先节点构造跨文档子树,再让 Agent 按需读取节点、改写查询。
LoopFM 将推荐基座模型的历史中间表征压缩成用户序列,供轻量排序模型使用,补充标量蒸馏难以传递的跨域信息。
ScalarLens 将数值特征拆成仅由数值确定的稳定坐标,以及受样本上下文调节的有界响应,保持类别 embedding 和 CTR 主干接口。
生成式推荐漏召回目标后,训练时补入目标会同时改变监督权重与概率竞争。
论文研究推荐模型递归更新后应保留哪些状态,以跨代与同代模型配对的公平对照衡量互补收益,并用无需相关性标签的排名分离度选择保留方案。
论文将跨平台用户历史用于已有推荐列表的选择性调整,提出 MediateRec 基准和 PAMO 训练方法,通过遮蔽跨平台记录评估推理对个人信息的依赖,并保留平台相对价值下限。
论文系统研究生成式检索的文档标识符设计,把乘积量化、残差量化及混合结构放入同一空间,并提出无需训练检索模型的内在诊断指标。在 MS MARCO 上混合量化的 MRR@10 达到 46.30%,NQ 上 R-VQ 达到 56.64%;短码预算下,唯一率可帮助识别碰撞和空间坍缩。
针对滑窗重排反复生成查询推理的问题,QReason先生成一次排序导向推理查询,再交由非推理重排器跨窗口复用。监督训练以相关段落为依据,强化学习结合列表与逐段奖励。BRIGHT平均nDCG@10达到36.93,高于ReasonRank的36.45;六子集端到端评测加速7.86倍。
序列推荐用模型生成的交互序列递归训练时,全部保留通过验证的数据会放大来源与长度偏差。DA-RSIR 用 MC dropout 估计目标物品的预测分歧,按来源分组并从低、中、高分歧区间选取代表序列。
针对长程搜索中重复检索、证据丢失和过早停止的问题,Harness-Search 将检索提案、记忆提交与终止审核分给三个权限受限角色,形成共享状态驱动的搜索循环。
推荐模型第二轮训练常出现训练损失下降、测试泛化恶化。作者将其解释为标签已影响稀疏 embedding 后的自影响不对称,提出按 embedding 不确定性加权的输出敏感度正则 UWSR,保留已学 embedding。
MuSeR 面向超长行为序列和多兴趣用户建模,将近期行为完整保留,中远期分别池化压缩,结合多查询兴趣抽取与文本语义对齐。长期表征异步缓存,在线融合短期兴趣并进行多目标束搜索。百度首页信息流 A/B 测试中,DAU 增加 0.26%、总会话时长增加 0.89%,均达 p<0.05。
AIMS解决当前指令被历史偏好覆盖的问题:冻结模型逐条删除历史事件,筛选同时提高目标得分与边界竞争间隔的删除结果,再用完整历史学习该间隔,辅助梯度仅抑制竞争项。
ESP 针对推荐多目标共同挤占单向量容量的问题,把表征拆成任务专属子空间,并在服务时调整各子空间相似度权重。LinkedIn 的七天线上实验中,收入权重 0.3 时收入增加 4.01%、职位申请增加 3.95%、点击率增加 0.92%,后续分析显示不匹配率下降 8.95%。
论文研究用户历史压缩为偏好状态后,缓存中仍存在却未被任务头充分利用的证据。REPAIR 在冻结编码器与任务头之间加入低秩修正、三种时间视图和选择性写回。
推荐系统的召回、粗排和精排通常是三个各自训练、上线的模型,同一条用户行为序列每个阶段都要重新编码,粗排和精排还常常给同一批候选排出不同的顺序。
X-Rec 在连续物品向量空间用流匹配学习推荐分布,生成向量触发 ANN 召回,避开 Semantic ID 量化误差与逐 token 解码。
短视频观看时长、点赞和负反馈混合了真实偏好与时长、用户活跃倾向等测量偏差。FLVM用受限基线解释混杂因素,再以消费、互动、情感三个潜变量重建异构反馈。
论文在真实流媒体平台比较聚合画像与LLM叙事画像,以及全历史和短长期融合两种范围。样本含1万用户、约24万内容,约18%属于探索型用户。
针对广告生成式检索中的码本坍缩和物品碰撞,GEAR联合训练分词器、生成器与轻量重排器。BasisVQ以正交基参数化码本,前缀感知量化增强区分能力。抖音全量部署的ADSS和ADVV分别提升0.563%和0.658%,冷启动广告激活率相对提升1.46%。
针对热门内容反馈循环和新内容曝光不足,论文在加速器计算图内用周期性损失权重替代动态丢弃样本,并以互动量或 SNGP 不确定性估计难度。7 天线上实验中,双向互动量课程使用户满意度提升 0.54%,最新内容桶互动提升 5.70%,序列召回独特互动提升 7.7%。