Learning to Reason with Predictive Gains for Generative Recommendation

Zhuoyang Li, Teng Shi, Jiakai Tang, Weijie Yu, Guofu Xie, Xiao Zhang, Lei Kou, Yang Yu, Lei Shen, Xin Chen, Bing Wang 等 13 人 · arXiv 2611.21441 · 发表 2026-11-17
10 分钟阅读时长 3692字 3.85综合分 第 4 名11-18 Generative 日报
目录 · 5 节1只看最后推得对不对,中间那些句子就没被量到2走一遍:一句话的预测增益怎么算,案例里又差在哪3三个数据集上,相对最强基线高多少4这对做生成式推荐的人意味着什么5局限
相关 4新颖 4实用 3证据 4时效 5

推理写对了「喜欢迪士尼动画」,目标却还排不进前十:用预测增益训练生成式推荐的推理

用户最近看过迪士尼、家庭向的动画,下一件其实和「冒险」有关。一个会先写推理再生成商品 SID 的推荐模型,把「迪士尼相关」「家庭友好的动画」都写进了推理,却把历史里的片子认错,甚至把要预测的目标当成已经看过的。这套推理里,只有 3 句真正提高了目标 SID 的似然,最后目标排不进前 10。

另一套同样从用户历史写起的推理,正增益句子有 6 句,写得更贴历史,目标进了前 3。这是论文图 8 里 OneRec-Think 和 GainReason 的对照。看起来都会「推理」,但每句话对预测下一件到底是加分还是减分,差得很远。

这篇论文来自中国人民大学高瓴人工智能学院、对外经济贸易大学和阿里国际数字商业集团。现有做法里,TIGER 这类生成式推荐直接生成下一件的 SID。OneRec-Think、SIDReasoner、Evo-Rec 等再给模型加上显式推理,并用组内相对策略优化(GRPO)来训练:奖励通常由最终推荐表现决定,比如 SID 是否命中,再打给整条推理轨迹。方法 SAPO 把这类匹配奖励分到推理块,仍然不是在测量每句话对预测的贡献。这篇提出方法 GainReason:看每多写一句推理,目标 SID 的对数似然变了多少,把这个差值叫做预测增益(PG),用它来优化推理。三个公开数据集上,相对最强基线的平均提升是 6.2%、2.7% 和 6.1%。

用每句推理给目标 SID 似然带来的变化来打分,比只看最终推得对不对更有区分度;数字来自三个公开数据集上的离线全量评估。

只看最后推得对不对,中间那些句子就没被量到

生成式推荐把下一件商品写成一串 SID。这篇用 Sentence-T5 把标题、品牌、类目等元数据编成向量,再用 RQ-KMeans 量化成 3 个离散记号。显式推理是在生成 SID 之前,先用自然语言写出对用户兴趣的判断,希望把大模型里的世界知识用起来。

问题是,模型往往已经在推荐数据上训练过,最后推得准,并不等于这些推理句子帮了忙。规则奖励看的是推理结束之后的推荐结果,中间哪一句提高了目标 SID 的概率、哪一句把它拉低,并不会直接出现在训练信号里。作者在训练过程中看到,正增益和负增益的句子数量接近一半对一半,规则方法却反映不出这个差别。

另一个问题出在一组 rollout 内部。从海量商品里正好生成目标 SID 本来就难,不同推理轨迹的预测贡献不一样,按命中规则却常拿到同一个奖励。于是组内相对优势变成 0,策略更新推不动。作者还观察到,相当比例的组里所有奖励完全相同。

换个更简单的做法,是请另一个模型给中间步骤打分,但评估「这句推理对推荐有没有用」既贵也容易偏。GainReason 选择直接看目标 SID 的似然变化。

走一遍:一句话的预测增益怎么算,案例里又差在哪

预测增益的定义来自论文公式 7 和 8。目标 SID 有 3 个记号。给定用户历史,以及已经写出的前几句推理,模型会对这三个记号给出一个平均对数似然。第 j 句的预测增益,就是加上这句之后的似然,减去加上这句之前的似然。第 0 步只用历史、还没有推理。下面先用一组示意数字把账算清,再回到图 8 的真实对照。

第一步,只看历史。示意里,目标 SID 的平均对数似然是 -2.00。

第二步,模型写下一句「用户喜欢迪士尼和家庭动画」。似然变成 -1.70,这一句的预测增益是 -1.70 减 -2.00,等于 +0.30,是加分句。

第三步,若下一句误把目标当成已经看过,似然掉到 -1.85,增益是 -1.85 减 -1.70,等于 -0.15,是减分句。整条轨迹的净增益是各句相加,这里是 +0.15。

规则奖励如果只看最终有没有命中,整条轨迹只会拿到一个分。句级预测增益仍能在同一条轨迹里分出 +0.30 和 -0.15,说明加分句和减分句可以被分别量到。

第四步,训练时,GainReason 对一组 rollout 里所有句子的预测增益做标准化,再按 GRPO 的方式更新写推理的策略,这一部分称为 PGRO。预测增益在更新时不再反传。作者还用定制的因果注意力,一次算清各个推理前缀下的似然,不必为了给奖励再把推荐结果解码出来。

第五步,净增益接近零,有两种情况:推理本身没提供新信息,或者信息写出来了,预测时没用上。PGRU(推理利用任务)专门在净增益接近零的轨迹上,加强「带着这些推理去预测目标 SID」。净增益很大的正值说明推理已经帮上忙;很大的负值会被看成误导性推理,再加强监督会把错误写得更牢,所以不优先拿来做这个辅助任务。

论文图 8 是一条真实用户记录上的对照,不再用上面的示意数字。OneRec-Think 和 GainReason 都写出了「迪士尼相关」「家庭友好的动画」,并推断出和目标有关的「冒险」。但 OneRec-Think 还误认了历史中的物品,并把目标写进已经看过的列表,泛泛而不落地的句子也更多。结果是正增益句子 3 句对 6 句;GainReason 把目标排进前 3,OneRec-Think 没有排进前 10。作者也写到:推理写对了,也不总是带来正增益,尤其在 OneRec-Think 上。若信息已经写出来、预测却没用上,这正是 PGRU 要补的那一层。

图 8:同一条记录上,OneRec-Think 与 GainReason 的推理对照。正增益句子为红色,负增益为灰色;阴影标出与历史或目标相关的属性,下划线标出错误陈述。来源:论文 Figure 8
图 8:同一条记录上,OneRec-Think 与 GainReason 的推理对照。正增益句子为红色,负增益为灰色;阴影标出与历史或目标相关的属性,下划线标出错误陈述。来源:论文 Figure 8

三个数据集上,相对最强基线高多少

数据是 Amazon 的 Industrial & Scientific、Movies & TV,以及 Yelp 商户评论。预处理为 5-core 过滤,按全部交互的绝对时间排序后 8:1:1 划分,避免时间泄漏。用户历史用滑动窗口,最长 10 条。评估在全部商品上进行,不抽样候选。为了公平比较强化学习阶段,所有显式推理方法都从同一个准备后的检查点出发。

方法Industrial NDCG@5Movies NDCG@5Yelp NDCG@5
SASRec0.07270.01180.0157
OneRec-Think0.09150.04150.0191
Evo-Rec0.09020.04220.0188
GainReason0.09850.04350.0204

(数字来自论文表 2)

相对各数据集上最强的基线,四个指标的平均相对提升分别是 6.2%、2.7% 和 6.1%。Industrial 上,NDCG@5 相对 OneRec-Think 提高 7.7%,HR@5 相对 SIDReasoner 提高 6.8%,HR@10 提高 4.2%。Movies 上四个指标的提升在 2.1% 到 3.1% 之间。Yelp 上 NDCG@5 提高 6.8%。OneRec-Think、SIDReasoner 和 Evo-Rec 彼此接近,说明只改最终奖励的设计,差别并不大。

图 5:各方法打开推理之后,推荐指标相对「不写推理、直接生成 SID」的变化。规则方法在 Movies 上多为下降,GainReason 在三个数据集上都是正的。来源:论文 Figure 5
图 5:各方法打开推理之后,推荐指标相对「不写推理、直接生成 SID」的变化。规则方法在 Movies 上多为下降,GainReason 在三个数据集上都是正的。来源:论文 Figure 5

更关键的是推理本身有没有帮上忙。打开推理后,规则方法在 Industrial 上通常变好,在 Movies 上却常变差,在 Yelp 上提升也有限。GainReason 打开推理后,三个数据集上的平均相对提升是 5.8%、2.3% 和 7.4%,而且在 Movies 上仍然为正。Movies 上,不开推理时 GainReason 的 HR@5 是 0.0525,略低于 Evo-Rec 的 0.0528;打开推理后变成 0.0541,超过了 Evo-Rec 的 0.0526。Yelp 上也是推理把领先幅度拉开的。说明它的优势,很大一块来自「推理真正提高了推荐」,而不是准备阶段的直接生成就更强。

去掉 PGRO 之后,Industrial 的 NDCG@5 从 0.0985 降到 0.0892,接近只完成准备阶段的 0.0881。只留下 PGRO、去掉 PGRU,是 0.0954;把 PGRU 的自适应加权改成对所有轨迹均匀监督,是 0.0963。去掉 PGRO 时下降更大,PGRU 还有额外贡献。

图 1:规则优化看推理结束后的推荐表现,不一定能量到每句的贡献,组内奖励也容易相同。预测增益按句子衡量目标 SID 似然的变化,再用来更新策略。来源:论文 Figure 1
图 1:规则优化看推理结束后的推荐表现,不一定能量到每句的贡献,组内奖励也容易相同。预测增益按句子衡量目标 SID 似然的变化,再用来更新策略。来源:论文 Figure 1

这对做生成式推荐的人意味着什么

如果你已经在用 GRPO 训练带推理的生成式推荐,先检查奖励是不是只看最终 SID 是否命中,以及一组 rollout 里是不是经常出现完全相同的分。

一个可做的对照,是在训练日志里算一算:每句推理之后,目标 SID 的对数似然到底升了还是降了。如果正、负增益句子各占一半,而组内优势又经常是 0,句级预测增益会直接打在那些该加分和该减分的句子上。也要看推理写对了之后,似然有没有真的上去;如果常常写对却不加分,可能是推理没有提供新信息,也可能是预测头还没有把推理用起来。后一种正是 PGRU 要补的位置。

局限

实验是三个公开数据集上的离线评估,历史最长 10 条,SID 为 3 个记号,没有线上对比。Movies 上相对最强基线的平均提升只有 2.7%,打开推理后的平均提升是 2.3%,明显小于另外两个数据集。

预测增益在训练时要用到目标 SID 的似然,依赖这条监督信号。图 8 是定性案例。

读完这篇,你觉得

点一下即可,无需登录;再点一次撤回。只统计匿名次数,不记录你是谁。

讨论

欢迎补充实验细节、复现经验或不同看法。需 GitHub 登录。

正在加载讨论…