02 4.20
生成式排序模型一次前向就给所有候选打完分,没有机会再细看、修正。美团和中科大的 Refiner 在这之后再多算几步:给每个候选接一个推理 token,每一步只预测加到原分数上的修正量,原模型完全冻结,只训练 LoRA 和新输出层。在 Steam 数据集上,它把美团的生成式排序模型 MTGR 的 AUC 提到 0.7872;接在线上模型之后做 A/B,点击率提升 0.75%。因为只学残差,多算的几步是在原有分数上加修正量,而不是从头重新打分。
03 4.20
把点击老师和价值老师一起蒸馏进生成式推荐时,每个 token 平分权重并不公平:在 TencentGR 上,学生生成第 1 个 token 时离价值老师的 KL 是离点击老师的 3.13 倍,而且难学的老师在后两个 token 换成了点击老师。浙大和阿里的 KL-MOPD 在训练前算一次学生离两个老师的距离,每个 token 上离得更远的老师拿更大的权重,训练时没有额外开销。线上 A/B 中,广告收入提升 1.63%,说明点击和价值两个目标一起涨了。
04 4.10
交叉熵只告诉生成式推荐正确 token 是哪个,其他候选谁更好没有任何信号。电子科大的 REGER 把传统序列模型对全部物品的打分,在正确答案的每个前缀上按下一个 token 所属的分叉把物品概率加总再归一化,得到每一步的分叉偏好,让生成模型去对齐。单独加到 TIGER 上,Beauty 数据集的 Recall@10 从 0.0673 提到 0.0794,推理时间不变,说明它是一个几乎免费的训练改动。
05 4.10
多数生成式推荐给所有物品同样长度的 SID,热门物品反复为细粒度编码付出成本,缩短编码又会压缩长尾物品的语义。JevRec 借鉴自然语言里常用词更短的规律:先用残差量化给每个物品编出 4 级编码,每一级各有一张所有物品共用的向量表(论文叫码本),每级记下离剩余误差最近一项的序号,越往后越细。它按训练集交互频率把物品排序分组,越热门的组截掉越多末尾的细粒度编码,长尾物品保留完整描述;同一组里截短后前缀相同的物品,末尾再各补一个不同的编号,保证每个物品唯一。它还用一个单独的输出头先预测长度,再按长度生成内容,减少梯度冲突。在三个公开数据集上它全面领先,训练和推理时间都比 TIGER 短。
06 4.10
SID 推荐在预测某一层 token 时,会同时看历史里所有层的 token。LESSRec 的推理分析发现,和目标同一层的历史 token 信息量更大,其他层反而会干扰。所以它把历史按层分开编码,预测第几层就只看那一层的历史,再补一条按时间排列、每个历史物品只用一个整体语义表示的序列;解码时对这两条序列各做一次交叉注意力,再把结果合并。LESSRec+ 进一步给每层用独立的小编码器,总参数量不变、编码计算更少,在三个公开数据集和三种 tokenizer 上都有效。
07 3.75
现有生成式推荐要专门训练 SID 词表,去拟合物品描述的语言模型表示。这篇论文发现,预训练好的稀疏自编码器已经给语言模型的特征配好了人能读懂的语义标注,特征编号本身就能当 SID 词表,不需要再学一套。他们的 API 框架把物品描述送进语言模型,取稀疏自编码器上被激活的特征编号组成物品编码,再训练一个适配器从用户历史里学偏好,同时还能用特征自带的语义标注,解释两个候选物品的得分为什么不同。
08 3.75
用 GRPO 后训练大模型推荐器时,一条回答的奖励平摊给所有 token,而且训练信号只来自单个用户。RPSD 的老师和学生是同一个模型,老师额外看到正确答案和相似用户后来看了什么,再给学生回答里的每个 token 算概率。老师减学生的对数概率差在回答内去均值、截断,答对时取原号、答错时取反号,再取指数,得到限制在 1 附近的正权重,乘到原来的优势值上。这样答对时老师更认可的 token 加强得更多,答错时老师也不认可的 token 罚得更重,奖励方向不变。老师掌握的额外信息来自行为轨迹相似的其他用户,这样训练信号不再只来自单个用户。多个真实数据集上达到最好效果。
09 3.85
用户用一段话描述需求时,偏好之间往往互相限定,比如要找适合带老人去、但离家不远的海边城市。现有方法多把它当成关键词组合。PDG-F 先让一个智能体把需求解析成一张有向无环图,每条边表示一个偏好对另一个偏好的限定。每条边被改写成一条搜索查询去开放网络召回候选,召回结果记在这条边指向的节点下。排序时,让大模型拿召回某个候选的网页证据,逐一对照这个节点和它上游每个偏好,从明确矛盾到几乎复述打 0 到 4 分;再顺着边往上游加总,离这个节点越远的偏好打折越多,最后把候选在各节点上的得分相加。在中英文三个领域上,它超过检索智能体和前沿大模型,主要因为候选池能召回的上限明显提高。
10 3.65
推荐理由写得好不好,人工评估准但贵,单个大模型打分又容易受提示词影响、结果不稳定。MAREval 先让规划者给评估者、主持人和仲裁者写好每一轮的任务。评估者按相关性、措辞等标准打分并互相挑错,主持人把每轮分歧压成摘要供下一轮参考,仲裁者根据最后的摘要给分,整条流程独立跑多次再取平均。在公开基准和电商数据上,它和人工判断更一致,重复评估的波动明显更小;大规模人工标注检验中达到了上线质量线,线上 A/B 中实验组只展示通过 MAREval 的推荐理由,对照组不展示理由,参与度和收入指标显著提升。