BRIDGE: Bridging the Semantic Quantization Gap for Generative Recommendation

Yatong Xiao, Mingjie Sun, Peng Wang, Wenjin Wu, Peng Jiang · Kuaishou · arXiv 2611.07425 · 发表 2026-11-05
11 分钟阅读时长 4288字 4.20综合分 第 1 名11-06 Generative 日报
目录 · 6 节1SID 已经从粗到细,为什么还要补训练目标?2出第一个码之前,先给模型一个较粗的目标3教师多拿到什么,学生又在什么条件下模仿?4第一个码更粗,为什么还要分到更多计算?5哪个实验真正回答了训练目标有没有用?6我会先试哪一部分?
相关 4新颖 4实用 4证据 5时效 5

生成式召回根据用户历史逐位预测商品 SID,但普通下一码训练只检查正确编号的概率。正确码概率相同时,剩余概率分给哪些错误候选,并不会改变这项交叉熵。BRIDGE(生成式召回模型)想在猜对编号之外,也利用商品之间的相似关系来训练模型。在作者报告的 Beauty 消融中,两项附加损失合用的配置,比论文中不加这两项损失的对照配置,Recall@10 高 12.8%。

SID 已经从粗到细,为什么还要补训练目标?

先把一次推荐请求分成两件事看。商品入库时,要给它编一串 SID;用户发来请求时,模型根据历史交互,预测下一件商品的这串码。前者给商品分组,后者学习用户下一步可能落到哪个组。

给商品编码时,RQ-VAE 从商品 embedding 出发,逐层找出它在各层码本中的编号。它先把商品转成 embedding,再从第一层码本中找最近的代表向量,记录这个代表的编号。减去这一层近似后,下一层继续近似剩余误差。几层编号连起来,就是 SID。首层编号相同的商品共享首层代表,后面的码继续细分。原有 SID 确实带着从粗到细的商品关系。

生成模型也有条件学到关系。本文把历史商品的连续 embedding 经 MLP 投影后送入模型;已经生成的码,会转成可学习的码 embedding,作为后续位置的输入。它不是只能处理几个没有含义的整数。

问题在训练怎样评价预测。以第一位为例,所有候选都来自第一层码本,只有目标商品对应的编号是正确答案。假设同一条用户历史下,两份预测给正确编号的概率相同;区别只在剩余概率给了哪些错误编号。这时,下一码交叉熵相同,尽管一份更偏向目标附近的码本中心,另一份更偏向较远的中心。这里的远近,是候选中心到正确码中心的向量距离,不是编号大小。

这项损失没有直接评价上述差别,不等于模型完全学不到相似关系。论文把问题叫 Semantic Quantization Gap,摘要用“丢失语义结构”概括。我更愿意把它理解为训练参照还可以增加:保留正确编号监督,再用商品向量提供额外约束。先看作者怎样给第一个码增加训练目标,再看相似商品怎样参与教师训练。计算预算放到后面单独讨论。

出第一个码之前,先给模型一个较粗的目标

论文图2:橙色 Pass A 先读取历史,绿色 Pass B 才预测 SID;右边的教师只在训练出现。左边画的是监督关系,具体组中心如何得到,以正文的再次聚类为准。
论文图2:橙色 Pass A 先读取历史,绿色 Pass B 才预测 SID;右边的教师只在训练出现。左边画的是监督关系,具体组中心如何得到,以正文的再次聚类为准。

模型读完历史之后、输出第一个码之前,BRIDGE 先让一个可学习的开始向量反复经过同一个 decoder block,每轮都用 cross-attention 读取用户历史。实验在出码前运行四轮;随后生成 SID 也共用这个块的权重。结果是一个向量 r,再放到通常开始标记所在的位置,由它启动后面的 SID 生成。r 是用来预测首码的输入,不是已经选出的首码。

只有多算几轮,并没有告诉 r 应该接近哪些商品。作者给 r 增加 L_CGLR(码本粗组监督损失),目标这样构造:先把第一层的 2048 个码本中心,再次聚成 256 组。每组有一个固定代表向量,论文叫 prototype,下面称组中心。它比首层码还粗,不是人工商品类目,也不用重编 SID。

一条训练样本已经给出了用户下一次交互的目标商品。查出它的首层码,再查这个码本中心属于哪个粗组,就得到 r 的目标。组中心在推荐训练前算好,之后固定。

为什么不用精确首码再监督一次?作者的理由是,商品 embedding 稍有变化,精确码可能在附近两个中心之间切换。如果这两个中心还在同一粗组,粗标签就不变。较粗的目标提供稳定方向,精确选择仍由普通下一码损失负责。

r 先投影到组中心所在空间并归一化。分类损失鼓励它与正确组中心的相似度,高于与其他组的相似度;余弦损失进一步把方向拉近正确中心。这是训练要求,不是线上提供的答案。上线时没有目标标签或目标组中心,r 仍只从历史产生。

教师多拿到什么,学生又在什么条件下模仿?

粗组监督只作用于出码之前。PESD(近邻教师蒸馏模块)是另一项训练。学生就是前面要上线的生成模型;教师与它结构相同,主网络权重取学生权重的指数滑动平均,更新较平缓。教师还利用目标附近的商品,产生各个编号的概率分布,让学生学习。

这些近邻怎么找?训练时目标商品已知,在冻结的原始商品 embedding 中,按余弦相似度取最接近的三件商品,排除目标本身。索引用训练期商品目录构建。三件商品的向量取均值,经过投影、归一化与缩放,加到教师的开始向量上。近邻在这里是商品,不是上一节的码本中心。

教师预测后面位置时,仍输入正确的前码,例如预测第二位时输入正确第一位;但它的开始向量没有额外装入完整目标 SID。作者希望避免教师只复述正确编号,输出接近独热分布,使蒸馏变成另一份普通交叉熵。近邻输入是为了影响各个候选的概率;算法没有直接规定某个近码应分到多少。

学生还需要适应自己生成的前缀。普通训练预测第二位时,输入正确的第一位;上线时输入的是模型生成的第一位,可能已经错了。PESD 保留普通训练路径,另外让学生每一步接自己上一位概率最高的码,再预测下一位。教师则一直使用正确前缀,并带着额外的近邻输入。

师生在同一位置预测相同的候选编号,前缀不同不会改变这个编号集合。因此,学生自前缀分支与教师的概率可以逐个编号对应,用 Jensen–Shannon divergence 比较差别。即使学生前缀已经偏离,匹配目标仍是教师在正确前缀下的分布。这会把学生当前预测向教师目标拉近,不会回改已经输出的码,也不保证错误前缀最终一定能补成目标商品。这是作者选择的训练目标,是否改善召回由后面的消融观察;现有消融没有单独剥离自前缀设计。r 另有一项余弦蒸馏,让学生的生成前表示接近教师。

论文图3:教师是有目标近邻输入的训练参照,不是与学生同输入的线上基线。右图各层分布差异整体下降;虚线是蒸馏预热结束点:此后学生才加入对教师分布和 r 的模仿损失,并逐渐加大权重。这是训练诊断,不是恢复商品距离的证明。
论文图3:教师是有目标近邻输入的训练参照,不是与学生同输入的线上基线。右图各层分布差异整体下降;虚线是蒸馏预热结束点:此后学生才加入对教师分布和 r 的模仿损失,并逐渐加大权重。这是训练诊断,不是恢复商品距离的证明。

教师主网络不靠反向传播直接更新。蒸馏时,教师分布与 r 都截断梯度,避免目标反过来迁就学生。近邻投影和缩放却需要学习:它们归在学生侧一起优化,由教师预测正确 SID 的交叉熵训练。梯度穿过教师的计算,回到这两个参数,不更新教师主网络。部署只保留学生,不查目标商品的近邻。

Hoot 说不更新主网络,也能训练近邻投影收起 ✕
计算图可以传梯度,主网络权重不更新
近邻均值经过可训练投影和缩放进入教师;教师交叉熵更新前面的投影缩放,不更新教师主网络。近邻向量均值投影·归一化·缩放教师主网络权重用EMA教师交叉熵
近邻均值经过可训练投影和缩放进入教师;教师交叉熵更新前面的投影缩放,不更新教师主网络。近邻向量均值投影·归一化·缩放教师主网络权重用EMA教师交叉熵
  1. 更新:近邻投影与缩放。教师主网络用滑动平均更新。

教师交叉熵的梯度穿过教师计算,只训练学生侧的近邻投影与缩放。蒸馏时教师输出则截断梯度,目标不会反过来迁就学生。

出处论文§3.4.2–3.4.3,公式19–24

第一个码更粗,为什么还要分到更多计算?

粗细讲的是商品怎样被表示,难度讲的是已知输入能把正确答案缩小到什么程度。第一位只有用户历史,没有目标 SID 前缀;后续位若已有正确前缀,就多了对目标的约束。作者据此采用“前层通常更难”的先验,在 EAR(按位置分配循环的主干)中把三位的循环预算设为四、二、一轮。

这不是从粗到细必然推出的规律。每层码本大小相同,这里采用的是作者对条件预测难度的先验;线上前缀还可能出错。EAR 应作为固定的计算分配方案来评估。

在普通训练路径中,正确 SID 已知。下面只解释这条路径的状态调度;前面算 r 的四轮与这里的循环是前后两段计算。三个位置的内容分别是 r、真实首码的 embedding、真实第二码的 embedding;各自与位置 embedding 拼接,再投影成初始状态。它们共用同一 decoder block:前两轮只更新位置一,第三轮更新位置一和二,第四轮更新三个位置。后加入的位置通过因果 attention 读取已被多次更新的前方状态,最后再过一次不循环的 end block。

自前缀分支和线上生成,都要先得到前一码才能准备下一位置的输入。论文没有交代 Pass B 逐位生成 SID 时,新码产生后怎样重算或复用已有循环状态及 KV cache。因此,上面的四轮安排只解释普通训练路径,不当作完整线上流程或请求延迟估计。

论文约 22% 的 FLOPs 下降也有范围:只算 Pass B 的循环部分。共享块有三层,四加二加一共七次位置更新,即二十一次单层单位置计算;作者在这笔 FLOPs 估算中,选用每位九层的均匀深度 decoder 作对照,共二十七次。Pass A 与 end block 不在里面。这笔账不能当成全模型的请求成本。

哪个实验真正回答了训练目标有没有用?

论文在 Amazon 三个目录上测试,用户最后一次交互做测试、倒数第二次做验证。下面是表2中 BRIDGE 与最强基线 GR4AD(另一种生成式推荐模型)的 Recall@10。

数据集GR4ADBRIDGE
Sports0.04430.0478
Beauty0.07420.0835
Toys0.07880.0886

整套方案都更好,但其中混合了主干与训练的变化。表3比较 Beauty 上的附加损失配置。主干目标 L_EAR 包含下一码交叉熵和对训练时 SID 输入 embedding 的 L2 正则。按论文§3.6的说明,消融关闭 L_CGLR 和/或 L_PESD,保留 L_EAR。表中标签只表示损失设置,不用它推断生成前计算是否被移除。

设置Recall@10NDCG@10
EAR 基线0.07400.0462
加 L_CGLR0.08180.0499
加 L_PESD0.07800.0485
两项都加0.08350.0520

带任一附加损失的配置都高于 EAR 基线,合用比单用更好,完整版本的 Recall@10 比第一行高 12.8%。这张表不单独衡量出码前四轮计算的收益。这个消融没有拿掉 EAR、保留另外两项,因此不能独立算出 EAR 的精度收益。

吞吐和收入要各看对照。论文报告 EAR 在 NVIDIA L20 上相对 GR4AD 的 QPS 高约 20%;收入段则报告整套方案一周、5% 流量的电商广告实验,eCPM 提高 0.65%。后者未命名对照模型,也没有逐模块线上消融,不能默认收入也是相对 GR4AD 的提升。

我会先试哪一部分?

我会在已有生成前计算的主干上,固定 SID 和主干,先试粗组监督,同时看首码损失与最终召回。这最容易检验增加商品侧参照有没有帮助。再试教师蒸馏时,另记近邻准备、教师前向和学生额外分支的训练成本。

公开模块消融只覆盖 Beauty,三个离线目录各约一万到两万件商品。自己的商品分组是否有用、教师相似性是否符合用户行为,都要看实际数据;师生分布接近本身不能回答这些问题。

循环主干则要做匹配预算的对照,把生成前计算、末尾块和实际解码一起算进延迟。BRIDGE 最值得借鉴的是:原有 SID 已有语义,仍可在训练中更明确地利用商品关系;这不意味着所有主干改动都必须一起采用。

维度评价
问题重要性高。同一套 SID 上仍有可检验的训练改进。
方法创新性中。把粗组目标、特权蒸馏和共享循环组合使用。
实验证据中。三目录有效,模块消融限于 Beauty。
工程成本中高。教师、额外分支和生成前计算都会增加工作量。
是否值得尝试有条件。固定主干先试训练目标,收益更容易归因。

读完这篇,你觉得

点一下即可,无需登录;再点一次撤回。只统计匿名次数,不记录你是谁。

相关论文RELATED

  1. Generative · 2026-06-05Bridging Short Videos and Live Streams: Reasoning-Guided Multimodal LLMs for Cross-Domain Representation Learning直播是核心转化场景但行为数据稀疏、冷启动严重,而短视频流量大、行为信号丰富。把短视频上的用户兴趣迁移到直播推荐可缓解冷启动。短视频与直播都是复杂多模态物品,融合多模态信号能提升效果,但多模态 LLM(MLLM)在跨域推荐中应用尚少。本文提出 RGCD-Rep,一个推理引导的跨域表征学习框架,资源高效地引入 MLLM 推理来对齐短视频与直播表征。在快手直播推荐(日服务超 4 亿用户)部署后,A/B 测试在多个核心业务指标上取得显著收益。
  2. Generative · 2026-11-16From Tokens to Behaviors: Rethinking Generative Recommendation for User Trajectory Prediction多数推荐只猜用户下一步点什么,用户行为轨迹预测要一口气猜出接下来几步,比如买了跑鞋之后会依次买运动袜、水壶。生成式推荐逐个 token 生成每件商品的 SID 再接下一件,商品内部的编码和商品之间的转移搅在同一条链上。更麻烦的是,前一步只把选中的商品传下去:模型给袜子 50% 的概率、给跑鞋 35%,往后只看到袜子,跑鞋这条线索就丢了。TraGR 让每件商品的 SID 各位并行生成,商品之间用循环的状态来转移,往下传的是选中商品加上按概率加权的其他候选,并在自己生成的轨迹上训练。在四个公开数据集上,它都胜过最强基线,预测更多步时优势依然在。轨迹预测里,前一步没选上的候选也是后面几步的有用线索。
  3. Generative · 2026-11-02Towards Reliable, Scalable, and Value-Aligned Generative Recommendation for Large-Scale Advertising快手在已上线的生成式广告召回系统 GR4AD 上改了三处,合成 GR4AD-X,线上累计让广告收入比 GR4AD 高 3.07%。三处改动针对同一个错位:模型按生成概率挑广告,平台要的却是收入。按生成概率排出的前十名和 eCPM 最高的前十名几乎不重合,命中率只有约 0.02。第一处让每条广告在第一层保留两个最近的聚类中心,一个前缀被剪掉也还能召回。第二处不放大主干,而是从排序系统多接二十几个用户画像和上下文特征,并加宽关键特征的 embedding。第三处给每个 SID 前缀估收入价值,即它下面广告的平均收入;剪枝时用 RRF 按每个前缀在概率排名和价值排名里的名次合成一个分数,据此截断。三处改动在线上逐个叠加验证。
  4. Generative · 2026-10-21AGR: Agentic Generative Retrieval with Tool-Augmented Search生成式检索不必把全部特征一次塞进模型。AGR 在生成物品短编码时,按当前分支调用意图、位置或历史行为工具,把结果压成观察标记继续解码。快手线上实验中,强相关前四结果请求占比提升 0.205%。
  5. Generative · 2026-07-13OneRec-Think: In-Text Reasoning for Generative Recommendation快手把 Semantic ID 加进 LLM 词表,先对齐物品 token,再教模型先写理由再给 ID,用束搜索里最好候选对上几位作 GRPO 奖励。线上离线生成推理和 ID 前两位,实时模型补最后一位,在 1.29% 的流量上,一周停留时长提高 0.159%。Beauty 上只微调 ID 的 Base 已在 R@5 上超过全部基线,公开数据上的推理是人工类目模板。

讨论

欢迎补充实验细节、复现经验或不同看法。需 GitHub 登录。

正在加载讨论…