Multi-Decoder OneRec: Controllable Generative Retrieval for Multi-Objective Industrial Recommendation

1. 问题与动机

工业推荐的召回层通常同时背负曝光、长观看、点赞、分享、冷启动扶持等目标。传统做法是为每个目标训练一套召回模型，再在服务端按固定配额合并。这种方案容易理解，但模型、样本、索引和服务链路都成倍增加，而且各路线产生大量重复候选。生成式推荐把物品表示成多层 Semantic ID，再用自回归解码统一完成召回，看似可以减少系统碎片，却引入了新的冲突：单个解码器必须用同一组参数和同一套 token 分布表达彼此不完全一致的目标。热门曝光目标会支配训练量，长观看、点赞等稀疏目标的梯度容易被淹没；若简单混合标签，不同目标还会在早期 SID 层争夺相同前缀，导致专业性不足。

论文提出 Multi-Decoder OneRec，核心不是重新复制整套生成模型，而是把用户理解部分做成共享主干，把目标差异压缩进轻量专家解码器。作者希望同时满足三个工程条件：第一，用户长短期历史只编码一次；第二，各目标能用适合自身的监督信号训练，尤其是连续观看时长不能被粗暴二值化；第三，线上仍能按业务配额稳定控制各路线的候选数，并在重叠或非法 SID 出现时自动回填。这个问题非常贴近大规模短视频推荐：召回不只追求离线 Recall，还必须在有限候选预算、有限延迟和可解释业务配额之间折中。

2. 方法详解

2.1 共享编码器与分层用户历史

模型输入由最近 20 个交互视频和 256 个长观看视频组成，用前者捕获即时兴趣，用后者保存更稳定的偏好。每个视频包含 Item-ID、作者 ID、标签、距当前时间差和观看时长五类字段。编码器有四个 Transformer block：先在单个行为内部做特征交叉注意力，再沿行为序列做自注意力。这样得到的用户表示及其 K/V 缓存只计算一次，供所有目标解码器共享。对于工业线上系统，这一点比单纯减少参数更重要，因为长历史的编码常是生成式召回的主要固定开销。

物品被量化为三层 SID，每层码本大小为 8192。通用解码器含四个 Transformer block，隐藏维度 256、八个注意力头，按标准 next-token prediction 生成三层 SID。基础曝光任务更新共享编码器和通用解码器，因此主干学习覆盖面最广的行为分布。目标专家不复制完整模型，而是在 masked self-attention 与 cross-attention 的 Q、K、V 投影上插入 rank 32 的 LoRA，并拥有独立 BOS token 和 SID embedding 残差。每个专家只学习目标偏移，主体知识仍来自通用解码器。

2.2 梯度隔离与多目标训练

长观看和点赞专家使用按任务过滤后的正样本做自回归监督，只更新各自的专家参数。作者明确阻断专家损失流回共享主干，避免小样本目标改变基础召回分布。这种梯度路由是方法成立的关键：共享并不等于所有损失共同更新所有参数，而是让主干由覆盖最广的曝光信号负责，专家在稳定参照上学习残差。论文的 Multi-BOS 对照只更换起始 token、不提供 LoRA 专家，效果明显落后，说明目标冲突不能仅靠提示 token 消解。

观看时长是连续值，固定阈值会把 11.9 秒与 0 秒都标为负例，也会把 12 秒和 120 秒都标为正例。论文先在每个用户最近 K 个有效历史上计算相对标准化奖励，默认 K=500，使奖励反映该视频相对用户自身观看习惯的好坏。随后使用 L-GBPO 优化观看时长专家，并在已观察 token 上加入相对通用解码器的 KL 约束。KL 权重为 1 时最好；去掉 KL 会出现策略坍塌。这里的设计把个体尺度校正、连续奖励和保守策略更新组合起来，比统一设置 12 秒长看阈值更符合用户间消费习惯差异。

2.3 MD-CBS 约束束搜索

推理阶段采用 Multi-Decoder Constrained Beam Search。系统为长观看、点赞、观看时长和通用路线分别分配 beam 与最终配额，默认 beam 为 86、171、256、512，最终配额为 86、85、85、256，总候选数 512。路线按优先级依次写入结果集，完成三层 SID 后检查合法性并跨路线去重；通用路线最后执行，负责回填专业路线因重复或无效 SID 留下的空位。

这一机制把业务约束直接放进生成过程，而不是生成后简单拼接。若只在第二层做约束，语义粒度不够；完全取消约束时，平均只有 207.67 个唯一合法候选，远低于 512 的预算。MD-CBS 因而既是多目标控制器，也是候选容量保障器。不过配额本身仍是人工业务决策，不同目标之间的真实 Pareto 前沿并未由模型自动学习。

3. 核心技术贡献

第一，论文给出一种可上线的共享主干、多专家解码器架构。与每个目标复制整套模型相比，它只增加 LoRA、独立 BOS 和 SID 残差；与单解码器混合目标相比，它保留了目标隔离。模型参数从 7.93M 增至 9.50M，仅为 1.20 倍，证明参数共享较充分。

第二，作者针对连续观看时长构造了用户相对奖励，并用带 KL 的强化学习训练目标专家。这个贡献不只是换一种损失，而是解决了两个实际问题：跨用户观看时长不可直接比较，以及强化学习专家可能偏离通用生成器的合法 SID 分布。K=500 的历史窗口得到 0.2031 的观看时长 Recall，优于 K=8 的 0.2003，也优于 12 秒阈值监督的 0.1999。

第三，MD-CBS 将路线配额、SID 合法性、去重与回填统一在束搜索中。它允许业务方保留成熟的路线治理方式，同时把底层召回模型统一起来。这比只报告离线模型指标更有工业价值，因为线上召回必须严格输出固定规模候选，不能把重叠率和无效序列留给下游碰运气。

第四，论文同时给出离线大规模数据、组件消融、成本分析和真实流量实验。数据来自 Kwai 2026 年 5 月 2 日至 6 月 30 日的 60 天日志，覆盖 5 万用户、约 13.12 亿条原始记录、8.22 亿条正向播放和 1.25 亿个训练 session；物品词表约 3185 万，其中约 2503 万具有有效 SID。冷启动物品占 23.79%，单次曝光物品约 950 万，占 29.83%，说明实验并非只在高频闭集目录上进行。

4. 实验结果分析

主要离线指标是四类目标的 Recall@512。结果如下，数值按曝光、长观看、点赞、观看时长排列：

相对单解码器 OneRec，新方法在四个目标上分别提升 1.69%、4.04%、5.54% 和 5.62%，均达到 p 小于 0.05。曝光增益最小符合预期：曝光正是通用主干的主任务，专家结构主要帮助稀疏或价值型目标。观看时长增益最大之一，支持连续奖励比二值 SFT 更合适。各专家的专项表现也验证了分工，例如长观看专家的长观看 Recall 为 0.1956，高于通用解码器的 0.1833；观看时长专家对应指标为 0.2041，高于通用解码器的 0.1923。但单个专家会牺牲其他目标，因此最终仍需要多路线组合。

约束搜索消融同样关键。完整三层 MD-CBS 输出 512 个唯一候选，并取得 0.1565、0.1907、0.1391、0.2031；只约束到第二层仍输出 512 个，但四项指标降为 0.1522、0.1827、0.1350、0.1942；无约束只剩 207.67 个唯一候选，指标进一步降至 0.1258、0.1544、0.1122、0.1647。这说明提升不完全来自更多专家，搜索阶段对完整 SID 的治理贡献很大。

训练使用全局 batch 1024，按时间顺序单遍训练 122,324 个优化步骤，学习率 5e-4、预热 1000 步、权重衰减 0.15、FFN 维度 1024；每个用户最后一个有效 session 用于测试，没有单独验证集。论文正文未报告具体优化器名称和训练硬件，因此不能据此估算墙钟成本。成本表显示训练 FLOPs 从 14.93G 增至 22.97G，为 1.54 倍；推理 FLOPs 从 325.02G 增至 725.38G，为 2.23 倍。参数增长温和不代表推理便宜，多解码路线的计算是实际落地的主要代价。

线上在 Kwai 巴西流量进行了七天实验。原生成式召回贡献约 57% 曝光，对照组 14.64% 流量使用单 OneRec，实验组 7.32% 流量增加观看时长、分享、冷启动等专家，下游排序保持一致。实验组使用时长提升 0.37%，D1、D3、D7 留存分别提升 0.12%、0.15%、0.19%；分享、点赞、评论、关注、下载分别提升 0.19%、0.35%、0.52%、0.51%、0.50%，冷启动内容消费提升 2.09%，均达到 p 小于 0.05。这组结果说明专业路线并非只在离线命中自身标签，还能传导到留存与互动。不过实验仅七天，且实验、对照流量比例不相等，长期生态影响仍需持续观测。

5. 局限与未来方向

作者没有设置独立的局限章节，以下部分一半来自正文明确证据，一半是基于系统设计的审慎推断。最直接的局限是推理成本：2.23 倍 FLOPs 会压缩线上增加专家的空间。论文证明共享编码器有效，却没有消除每条路线的自回归解码开销。未来可研究动态路由、按用户只激活部分专家、早退、投机解码或共享更多 decoder 层，并同时报告 P95 延迟、显存和吞吐，而不仅是理论 FLOPs。

第二，证据集中在一个短视频平台和巴西七天实验。Kwai 数据规模很大，但业务分布、SID 训练方式和 Long-View 定义均具有平台特性；电商复购、社区关注或音乐消费能否复现相同收益尚未验证。线上指标最长只到 D7，也无法判断冷启动扶持是否造成长期内容质量或创作者激励偏移。未来需要跨场景、跨地区和更长周期实验。

第三，目标集合、优先级和 86/85/85/256 配额由人工设定。MD-CBS 很好地执行了配额，却没有回答配额如何随用户、时段和库存动态变化。不同配额可能令某项目标增益转为损失，也可能放大路线重叠。更进一步的方向是把配额优化建模为受延迟、内容安全和生态约束的在线决策，同时保留可审计的业务上限。

第四，观看时长奖励依赖最近 500 个有效历史，对新用户和行为稀疏用户不够稳定。论文中的冷启动主要描述物品，不等于用户冷启动。可考虑分层贝叶斯基线、相似人群先验或不确定性加权，避免少量历史导致标准化奖励波动。KL 消融已经表明无约束会坍塌，未来还应给出不同人群、不同目录热度下的 KL 稳定区间。

第五，实验复现信息仍有缺口。论文给出了学习率、步数和结构，却没有报告训练硬件与优化器，也没有公开工业数据和完整 SID 构建流水线。对于 3185 万物品词表，码本更新、碰撞、下架物品与新增物品的运维成本都可能影响效果。更完整的研究应把 SID 刷新频率、合法率、碰撞率和索引迁移纳入评估。

6. 工业实践意义

对搜索与推荐团队，最值得借鉴的不是立刻复制四个 decoder，而是把多目标召回拆成三层治理：共享的用户表征、受控的目标残差、可验证的候选合并。现有双塔或生成式召回系统可以先选一个业务价值明确但与点击分布差异较大的目标做专家试点，例如社区的关注、长停留或优质 UGC 冷启动。训练阶段只让专家参数吸收目标梯度，线上保留通用路线兜底，就能把风险限制在新增配额内。

上线前应至少监控五组指标：每路线合法 SID 率、跨路线重叠率、配额实际填充率、分人群 Recall 与内容覆盖、推理 P95/P99 和单位请求成本。连续目标要先做用户尺度校正；若用强化学习，必须保留参照策略、KL 和坍塌告警。配额实验应分阶段从小流量启动，并检查总时长之外的负反馈、作者集中度、新内容曝光和长期留存，防止单目标局部最优。

从架构决策看，Multi-Decoder OneRec 适合已经拥有统一 SID、通用生成式召回和成熟路线配额平台的团队。若目录较小、目标高度一致或延迟预算极紧，单解码器加重排可能更划算。若组织当前仍维护许多独立召回塔，这篇论文提供了一条渐进迁移路径：先共享编码器和 SID，再用 LoRA 专家替代完整副本，最后把去重、合法性和回填收敛到 MD-CBS。它真正解决的是多目标生成召回的系统可控性，而不仅是多几个百分点的离线 Recall。