← 全部深度解读
📖 深度解读 · GENERATIVE

Training with Missed Targets in Generative Recommendation: Separating Supervision from Probability Competition

Xuesi Wang, Yangbin Shi, Xiaolin Zheng · Zhejiang University · arXiv 2610.10124 · 发表 2026-10-07
11 分钟阅读时长 4146字 4.40综合分 第 1 名10-09 Generative 日报
目录 · 6 节1问题与动机2方法详解3核心技术贡献4实验结果分析5局限与未来方向6工业实践意义
相关 5新颖 4实用 4证据 4时效 5
补充正样本并非无害的数据扩增:训练专属目标会通过共享打分器改变线上候选排序。社区 UGC 搜索若用生成式召回接重排,应保持线上候选不变,分别比较组内监督与跨组竞争,并用包含漏召回目标的端到端 nDCG 做开发集选择;上线前要求跨训练种子的收益置信下界为正。

1. 问题与动机

这篇论文研究生成式推荐接重排时的一个训练偏差:生成器只能返回有限候选,真实发生交互的目标可能根本不在候选中。工程上常在训练列表里补入这些漏召回目标,但线上重排仍然只能看到原始候选。作者问的不是如何增加召回,而是补入训练专属目标后,共享打分器对真正能服务的候选会发生什么变化。

正文给出 RecIF-Ads 的具体例子:用户有三个未来点击目标,生成器返回 126 个物品,只命中其中一个;另外两个目标仅在训练时补入。补入组初始只占全列表 softmax 概率的 0.011%,均匀多目标监督却要求它承担 66.7% 的目标概率。训练因此产生非常强的跨组概率分配压力,而这种压力对应的物品在线上不存在。直观的“补入与不补入”比较,同时改变了原候选目标权重、补入组监督和组间竞争,无法解释最终排序变化来自哪一项。

论文以 ListNet 式列表交叉熵为基础,并借用 profile minimization 的思路消除组间竞争。它与目标/非目标解耦蒸馏不同,这里的分组由物品是否存在于推理候选池决定。对社区 UGC 搜索而言,问题对应生成式召回漏掉已知相关帖子后,训练阶段强制补正样本的做法;这只是业务迁移判断,论文实验本身并未在社区搜索上开展。

2. 方法详解

首先冻结生成器,令 N 为生成器实际返回的候选,Y 为用户完整的观测目标集合,A 为可表示但未被 N 召回的目标。训练列表是 N 与 A 的并集,推理列表始终为 N。物品的原始分数是其语义 ID 各 token 条件概率的对数之和,重排器只学习一个残差修正 h,最终打分为生成器对数似然加 h。输出层以零初始化,使未训练的重排器恢复生成器原始排序;用户与物品表征也在比较中保持固定。

令 r 为原候选中的目标数量,k 为补入目标数量,alpha=r/(r+k),gamma=k/(r+k)。在 N 内单独计算 softmax 和多目标交叉熵 L_N,在 A 内单独计算 L_A。普通补入训练 Full 的损失可精确分成 alpha L_N、gamma L_A、以及两组总概率质量的交叉熵三项。最后一项要求两组分得的总概率达到 alpha 与 gamma;它不等同于任何一组内部的排序监督。

作者构造三个受控版本:WN 只有 alpha L_N;Cond 增加 gamma L_A;Full 再增加组间概率竞争项。这样 Cond 对 WN 测量补入组监督的作用,Cond 对 Full 测量移除竞争的作用。三者使用完全相同的候选、输入特征、初始化、批次顺序、优化器与推理池,而不是通过替换模型架构来获得差异。

Cond 的推导是给所有 A 组分数加同一个临时偏移 delta,组内排序不变,但总概率可变化。使 Full 最小的偏移是 log(k/r)+log Z_N-log Z_A。代入后,损失变成两项组内损失加只依赖目标数量的熵常数;常数不产生模型梯度,所以实际实现直接计算两项组内损失,不需要求解、存储或在线应用 delta。这一细节意味着方法改变训练目标,线上重排接口保持原样。

边界条件同样重要:k=1 时补入组只有一个元素,其组内概率恒为 1,L_A 为零,因此 Cond 退化为 WN。主受控训练要求 r、k 都大于零;最终评估仍包括没有任何目标被召回的用户。注意力重排器只以 N 作为上下文,避免补入 A 后注意力输入也跟着改变,破坏机制隔离。

实验采用隐藏层宽度 256、128 的 MLP,以及两个注意力块、宽度 128、四个头的重排器。统一使用 AdamW、batch 64、weight decay 1e-4、梯度范数裁剪 1。A-Games 主比较使用三次独立训练、60 epochs、学习率 1e-4;RecIF-Ads 主设置学习率 3e-4,先做三次训练,再用七个新种子复核。正文与附录还检查 240 epochs 和开发集选检查点。已读取内容没有提供可据以确定总训练成本的完整硬件配置,本解读不补写 GPU 型号或耗时。

3. 核心技术贡献

第一项贡献是明确指出候选补全不是单一监督改动,而是三个可分离项。普通训练中原候选的正目标权重会因补入目标增加而降低;如果对照组不匹配这个权重,即使补入组无价值,也可能因为权重变化看到不同结果。WN 保持与 Full 相同的原目标权重,为后续比较建立了可解释的基准。

第二项贡献是用 Cond 在保留补入组监督的同时去掉竞争。组间竞争的梯度等于“补入组当前概率与目标比例的差”乘以“两组平均分数梯度的差”。因为两组共享重排器参数,这一梯度能够改变 N 中物品的线上排序,即使 A 不进入推理。作者对补入组加相同偏移的干预不改变组内排序,却改变 Full 的最终结果,而 Cond 对这种偏移不变,为这一解释提供了直接检验。

第三项贡献是把机制发现转成可执行的选择规则,而非宣称某一种损失普遍最佳。每个生成器分别在开发用户上选出最佳返回候选训练和最佳补入目标训练,只有校正后的收益置信下界超过预设阈值才切换。A-Cell 的三个生成器中有两个获准采用补入训练,A-Health 的三个则全部保留返回候选训练,避免盲目补入造成的损失。相比仅选择平均分最高的方案,这条规则显式考虑训练随机性和不确定性;论文也没有证明它在所有任务上必然优于均值选择。

4. 实验结果分析

主数据包括 RecIF-Bench 的 Ads、Product,以及 Amazon 的六个品类。RecIF-Ads 使用 OneRec-1.7B-Pro,受控训练组为 3,189,其中 81.6% 至少有两个补入目标;最终用户中 44.9% 有目标在返回候选内。RecIF-Product 使用 OneRec-1.7B,有 2,224 个训练组。Amazon 从去重后的用户历史中取最后三个不同物品作未来目标,至少两个更早物品作历史;数据角色按用户隔离,生成器训练、重排训练、开发与最终评估不共享用户。

以下表格使用正文报告的七个新训练种子在 RecIF-Ads 的 epoch-60 结果,数值是原始 FT-NDCG,而非附录表格放大后的展示值:

重排训练损失RecIF-Ads FT-NDCG比较含义
WN0.031527仅原候选加权监督
Cond0.033405增加补入组监督,分开归一化
Full0.025982两组共同归一化并竞争

Cond 比 Full 高约 0.007423,其用户与训练种子联合置信区间为 [0.004978, 0.009744]。Cond 比 WN 高约 0.001877,epoch-60 区间为 [0.000343, 0.003455];但开发集选检查点后,补入监督收益的区间包含零。这说明“竞争有害”和“额外监督有用”不能被合并为一个结论,后者对停止规则尤其敏感。进一步训练到 240 epochs 后,Cond 对 Full 的优势也不再保证,论文明确强调比较必须匹配预算。

A-Games 的四个预设比较中,移除竞争使 FT-NDCG 相对提升 7.8%–22.2%。表 6 报告的 Cond-Full 绝对增量按一千倍展示:MLP 为 9.177,即原始增量 0.009177;注意力重排器为 3.234,即 0.003234。四组用户重采样区间都排除零,训练运行重采样区间有三组排除零,不能把四组都写成跨种子显著。

跨类别选择也揭示失败情况:A-Health 上无条件补入会损失约 1.7%,下界规则全部保留原候选训练,从而避开损失;A-Cell 虽有两个生成器选择补入方案,总体增益仍不确定。RecIF-Product 中训练后的候选损失没有可靠击败初始打分器,规则保留未训练模型。A-Home 把所有交互或仅四星以上评价当作目标时结论也不同,表明目标标签的业务含义会影响损失选择。

指标采用 FT-NDCG@20:实际排序只来自 N,但理想排序分母包含完整目标,漏召回目标不会消失,零可达目标用户得零分。这不同于只在候选内计算的 NDCG,后者会掩盖召回失败,因此两者的数值不可直接对比。对社区搜索试验,应同时观察召回可达率与完整相关性集合上的排序指标。

5. 局限与未来方向

论文讨论与结论没有声称 Cond 或候选补全普遍有效。作者明确指出收益依赖训练时长、开发集检查点选择、生成器以及目标定义:固定 60 epochs 的证据最强,延长到 240 epochs 不保证同样结果;额外监督在开发集选模型后可能没有可靠收益。补入组内损失在只有一个漏召回目标时退化为零,也限制了额外监督的适用范围。

实验研究固定生成器、固定候选路由下的重排,并没有证明能解决生成器本身的漏召回,也没有提供生产 A/B、社区短文本搜索或全量实时服务结果。后两项是本解读根据实验范围指出的迁移证据缺口。扩展到共同更新生成器、候选池持续变化或多路混合召回,应重新做受控比较;不能直接套用现有数值预测 CTR 收益。附录提供多来源和非均匀目标权重的推导,为进一步研究留出了路径。

6. 工业实践意义

最值得采用的是实验设计。对于社区搜索中“生成式召回—重排”的试点,先固定召回版本和候选数量,缓存用户或 query 状态与物品表征,构建与线上一致的返回池,再单独标出训练期补入目标。用相同重排器、批次与预算分别训练 WN、Cond、Full;不能把增大候选池、改变负采样或增加注意力上下文同时混进去,否则无法归因。

选型时应同时报完整目标 nDCG、召回可达率、多个训练种子的方差,以及漏召回目标数分桶结果。若多数查询只有一个补入目标,Cond 的额外组内监督为零,应预先明确这类请求的比例。开发集规则应按生成器或召回路由执行,阈值可设置为业务最小可用收益;论文主阈值为零,不代表真实业务应忽略工程成本。

部署方面,Cond 不需要把补入目标送入线上、不保留临时偏移,也不要求全库 softmax。已有重排器可沿用原在线候选池,主要新增工作发生在训练数据组织和分组归一化。但这不意味着训练成本必然为零:需缓存补入物品特征并增加离线打分,实际显存、批大小和训练吞吐要实测。原文没有在线延迟数字,不能承诺具体毫秒收益。

业务上应把漏召回纠正与重排学习分开。若完整目标指标受召回瓶颈限制,改善语义 ID、解码或多路召回可能比改重排损失更有价值;当前论文只是证明补正样本的训练方式需要验证。推荐的最小行动是做固定候选的三损失离线对照,收益下界满足业务门槛后再进行线上 nDCG、CTR 与内容质量评估。

原文与正文缓存:https://arxiv.org/html/2610.10124 。全部数值来自正文或附录;社区 UGC 搜索建议属于本报告的迁移分析。

← 全部深度解读 出现于报告:2026-10-09 · Generative #1 (4.40) 原文 ↗