02 4.50
生成式推荐只按内容给视频编 SID,于是常被转发、看完的视频和很少有人看完的视频,只要内容相近,就拿到几乎一样的编码。束搜索又只按生成概率剪枝,价值高的候选可能早早被剪掉,后面的重排救不回来。UAGR 两头都改。SID 最后一位 token 的编号里留出几位二进制,专门存视频的价值档位,档位由转发、完播这类曝光后的信号分出来,SID 长度不变。解码时每接一个 token,模型就用当前状态预测观看时长、转发等指标,加权成价值分,和生成概率一起决定剪掉谁。它已在快手全量上线,视频观看时长提升 0.206%。该看价值的地方是剪枝,而不只是事后重排。
03 4.50
推荐召回通常按目标拆成多路,比如协同召回、长尾召回、兴趣探索,各有一套数据和模型。阿里巴巴淘天团队发现,一个大模型就能同时承担这些召回,效果还胜过各路专用模型。做法是在输入里用一句话写明这次要召回什么,模型直接从数千万候选里生成一组商品,延迟控制在几十毫秒。离线对比之外,它在线上广告平台把核心指标(广告收入)提升了 3%。一个模型按指令切换召回目标,可以省掉多路召回各自维护的成本。
04 4.40
Meta
给用户推荐还没关注的创作者时,主流做法是把创作者量化成 SID 再让语言模型生成,这篇论文发现效果的瓶颈不在语言模型,而在 SID 这一层。多个创作者会落到同一个 SID 上,只能按热度挑一个,召回因此被封顶,而且更偏向本来就热门的人;量化器是冻结的,训练也改不了创作者的表示。ACT 干脆给每个创作者一个独立的 token,端到端训练,推理时直接取 logit 最高的若干个。在只换 token 层的对照实验里,创作者级的 Recall@15 高出 19.8 个点,SID 方案每个用户的推理延迟还是它的约 2.7 倍。候选是几十万个创作者时,独立 token 比 SID 更直接。
05 4.25
生成式推荐用 束搜索 逐位生成 SID,想少漏好结果,通常的做法是把每一步的宽度一起调大。这篇论文在 TIGER 的六组完整测试设置里逐个排查:按模型自己的打分本该进前 10、却被剪掉的结果,全都是在第一步就丢掉的。所以更划算的做法是把宽度集中给第一步,后面几步收窄。这样分配后,只用约一半的前缀预算(所有步骤保留的前缀总数),就复现了宽度翻倍的 束搜索 给出的前 10 名,连顺序都一样,而且不用重训模型。束宽应该花在最容易丢结果的那一步。
06 4.10
用户的全部历史和最近几次行为说的是同一个人,但给出的信号不一样:全塞进一条序列,最近的兴趣会被稀释;分成两路各算各的,两边又对不上。MV-Thinker 用同一组可学习的查询向量,配两个各自独立的读取模块,分别去读全部历史和近期历史。两边用的是同一组查询,读出来的结果能一一对上,又各自保留了长期和近期的信息,然后才开始生成 SID。在四个公开数据集、两种 SID 编码方式上,它都胜过判别式和生成式基线。这是偏学术的结构改进,还没有线上验证。
07 4.10
生成式推荐训练时给 SID 每一位 token 同样的损失权重,这篇论文发现按位置和罕见程度给不同权重,推荐效果会稳定变好。原因是 SID 的前几位决定商品大类,后几位只做细分,而且有些 token 出现得特别少。这篇论文给 token 加两种权重:一种看位置,某一位确定以后能排除的候选商品越多,这一位的权重越大,所以靠前的位权重更大。另一种看频次,token 在训练数据里出现得越少,权重越大。训练时把这两种加权损失和普通似然损失放在一起优化。相对基础的 TIGER,Hit@5 平均提升 6.11%,热门商品和长尾商品都有改善。它只改损失权重,不动模型结构,接入成本很低。
08 4.00
生成式推荐靠束搜索出结果,前缀一旦被剪掉就找不回来,可常见的自蒸馏训练并不关心哪些前缀快被剪掉。自蒸馏的老师是同一个模型的冻结副本,训练时额外看到目标商品的标题,它在学生生成的每个状态上一视同仁地给监督。SA-OPSD 只在学生自己 束搜索 走过的状态上蒸馏,优先挑那些分数离束搜索保留线最近、差一点就会被剪掉的状态;它在一个工业数据集和两个公开数据集上更好,训练成本也低于全量 KL 蒸馏,推理流程不变。
09 4.00
生成式推荐只靠交互数据训练,大模型里现成的语义知识用得很少;束搜索 的似然排的是 token 序列,也不直接等于商品和用户的相关性。HiGenTrans 在三处引入大模型知识:生成前,把大模型算出的用户表示加到序列开头;中间层,让生成模型每一层的表示去贴近大模型里相对深度相同的那一层;最后用一个小的 MoE 打分器,综合语义相关度、生成置信度和候选集信息,对 束搜索 的结果重排。所有语义特征只用用户已有的交互计算,可以离线缓存。在三个公开数据集上,NDCG@10 最多提升 33.7%,而且每个数据集上 NDCG 涨得都比 Recall 多,收益主要来自把对的商品排得更靠前。
10 3.75
让大模型做推荐,它常顺着预训练学到的流行度走,推的是热门而不一定是用户喜欢的。这种偏差藏在参数里,很难直接去掉。NPRec 不改参数。它先根据用户的交互记录生成几条候选的文字准则,描述这个用户可能的偏好。接着训练一个小模型,预测某条准则是否适用于某个用户和商品。每条准则算两次适用概率,一次用真实的用户和商品,一次抹掉两者各自的特征、只留商品热度。用真实用户和商品时概率明显更高的准则才保留;只靠热度就适用的,讲的其实是随大流。推理时把准则放进提示词,让大模型照着推荐。换成人工写的准则,MovieLens 上的首位命中率比基础提示高 95.6%,准则写得好不好才是关键。