← 全部深度解读
📖 深度解读 · PERSONALIZATION

OneModel: A Unified Foundation for Platform-Scale Multi-Scenario Ranking

Yinqi Zhang, Peiyu Hu, Yuntian Tang, Siying Gu, Jiahao Liang, Longxin Kou, Haiqing Hu, Shuman Zhuang, Yubin Xu, Chenggen... · 小红书 · arXiv 2608.18606 · 发表 2026-08-19
9 分钟阅读时长 3482字 4.75综合分 第 1 名08-21 Personalization 日报
相关 5新颖 4实用 5证据 5时效 5
它的关键不是简单把多个场景拼进一个大模型,而是用分层用户表示和场景调制控制跨业务迁移,避免广告或交易信号淹没内容兴趣。对社区搜索/推荐可借鉴共享用户塔、特征预取和图级优化,把跨场景长期行为纳入排序,同时用多目标训练守住CTR与生态指标。

OneModel针对的是平台型推荐系统的跨业务割裂。小红书同时存在内容推荐、信息流广告和商家服务,用户在三个流之间连续活动:浏览帖子可能暴露购买意图,广告互动会补充商业偏好,商家行为又能反哺用户长期兴趣。如果三个业务各自维护一套排序器,就会重复训练长行为序列、Embedding和内容理解模块,用户表示也会被切成互不相通的几段。作者认为,这种工程拆分已经成为继续扩展模型能力的瓶颈。

困难不只是把数据拼起来。三个流的特征schema不同,监督信号也不同:内容推荐关心兴趣匹配和互动,广告关心点击与广告价值,商家侧关心转化、GMV和GPM。直接共享参数会产生负迁移,完全分塔又失去跨流信息复用;更长的用户序列还不能在每个请求上重复用Transformer计算。论文把问题定义为平台级多流最终排序,并在小红书真实生产系统中验证统一用户建模、跨场景专属化和在线成本之间的折中。

2. 方法详解

OneModel把每条行为表示为包含物品、业务流、动作类型和时间间隔的事件,先映射到共享token空间,再送入行动导向的长上下文骨干。与把物品和动作拆成两个token不同,作者把动作作为预测目标、物品作为上下文信号,减少有效序列长度。请求候选项加入masked action embedding,并施加causal mask保持历史时间方向、candidate mask阻止同一请求候选相互泄漏。

跨场景表示由两步组成。对来自场景s的异构特征,模型使用场景专属投影把ID embedding、类别token和归一化稠密特征映射到共享空间,形式为e_i=phi(W_s x_i+b_s)。随后把场景、动作、位置和时间间隔编码加到物品向量上:z_j=e_i+Embed(s_j,a_j,delta_t_j,pos_j)。时间间隔使用多频正弦编码,离散场景和动作使用可学习Embedding,并额外加入位置、请求索引和分桶时间差;相对时间还用ALiBi式线性偏置表达,避免为所有时间差建立巨大偏置表。

核心的Scenario-aware Information Modulation,也就是SAIM,插在共享Transformer的FFN里。对场景token embedding e_s先生成通道门g_t=sigma(W_g e_s+b_g),再用SiLU(W_1 h_t)逐通道乘门,最后经过W_2输出。这样所有场景共用同一计算图,但广告、推荐和商家token可以使用不同特征通道,比简单shared-bottom细粒度、比完全独立多塔省计算。

用户表示采用分层结构:对全历史隐藏状态做注意力池化得到长期全局表示u_global,取最后一个局部状态u_local代表当前意图,二者拼接后经MLP得到最终用户向量。训练目标由跨流混合历史的next-item自监督损失、每个业务流的点击/收藏/评论/停留/关注/隐藏/点赞等监督损失和L2正则构成。训练初期逐渐减小自监督权重、增大业务监督权重;业务权重按验证AUC倒数设置,让更难的流得到更多关注。跨流batch采样防止高频推荐流压制低资源广告与商家流,early gradient isolation先让业务塔稳定,再把梯度传回共享骨干;超长序列还使用selective backprop,重点计算高困惑度位置。

上线把用户状态与候选打分解耦。长历史编码得到的用户状态增量更新并缓存到低延迟KV存储,请求到来时只做候选特征堆叠和向量化打分。特征分解把可复用用户侧计算移到请求前,user feature prefetch减少特征获取,shared user-tower避免为每个候选重复编码用户,graph-level optimization消除推理图冗余。默认实验使用序列长度500、物品embedding 768维、3层Transformer、8个注意力头、FFN宽768、dropout 0.2,并使用bf16、FlashAttention、gradient checkpointing和in-batch negative sampled softmax。数据是小红书生产流量10%的匿名切片,推荐:广告:商家相对流量约为1:0.2:0.15。

3. 核心技术贡献

第一,OneModel把三种业务行为组织成同一条跨流事件轨迹,复用用户兴趣和内容语义,解决独立排序器表示碎片化。第二,SAIM通过场景门在共享骨干中保留业务差异,允许推荐行为帮助广告建模,又避免三种目标强行压成一个表示。第三,分层用户表示明确拆分全局长期兴趣与最后一步短期意图。第四,缓存、预取、用户塔复用和图优化把长上下文能力转化为可服务架构,而不是停留在离线模型。

4. 实验结果分析

单流广告训练时,OneModel的Click AUC为0.7682,GenRank为0.7648,HSTU为0.7644;统一多流训练后广告Click AUC达到0.7712。统一训练的推荐、广告和商家流也保持较强AUC。线上A/B结果为:探索流Time Spent提升0.33%、Engagement提升1.25%;信息流广告价值提升3.43%、CTR提升8.18%;商家推荐DGMV提升1.1867%、GPM提升2.1585%。

模型/设置Ads Click AUCMerchant Click AUC说明
GenRank单流0.7648—广告基线
OneModel单流0.7682—仅广告训练
OneModel统一多流0.77120.7819三业务共享训练

统一训练使广告Click AUC从0.7682升到0.7712,商家从0.7789升到0.7819,均提升3.0‰;推荐流几乎不变,从0.7906到0.7905,说明高资源推荐流没有被明显伤害。预测广告时移除广告历史损失最大,但移除推荐历史也会降低广告AUC,证明推荐行为提供了额外商业意图;反过来,推荐对广告历史不敏感。

模块消融中,去掉统一表示、SAIM和分层用户表示,广告Click AUC分别从0.7712降到0.7698、0.7701和0.7704,下降1.4‰、1.1‰和0.8‰。去掉gradient isolation后广告AUC从0.7712降到0.7696。SAIM平均门值在推荐、广告、商家分别为0.61、0.54、0.58,表明门控学到了业务差异。长度从500缩短到200和100,AUC分别下降1.5‰和2.5‰;从500延长到1000只增加0.5‰。层数从3减到1下降2.0‰,增加到5层只提升0.7‰,说明服务成本与上下文长度需要共同权衡。

线上成本实验尤其有价值:稠密参数从173M增到230M,即增加32.9%,但经过特征分解、预取、共享用户塔和图优化,延迟从270ms降到90ms,下降66.7%。这说明服务图和缓存设计对规模化落地的影响可能大于单纯压缩参数。

5. 局限与未来方向

作者明确说明,数据保密使实验只能公开10%流量切片的相对流量比例和聚合指标,不能复现绝对用户、物品和交互规模;统一多流的跨平台泛化也没有验证。统一模型增加了场景schema、用户状态缓存、特征预取和多目标权重的工程复杂度,如果业务流相关性弱,共享可能引入噪声。论文没有充分展开冷启动、缓存失效、行为分布突变、长期生态质量和公平性的分层结果。

6. 工业实践意义

对社区搜索/推荐,最值得复用的是跨场景行为组织方式,而不是立即训练同等规模的生成式骨干。可先把帖子浏览、搜索点击、收藏、评论、关注、广告互动和交易行为统一成带场景、动作、时间的事件schema,再用现有序列模型做共享用户塔。排序目标按内容相关性、CTR、深度互动和商业转化分头监督,用场景门或轻量adapter控制信息流向。

落地建议分三阶段:先用行为遮罩验证跨流历史是否提升nDCG、CTR和转化;再加入分层用户表示与场景门,观察低资源业务是否提升以及主场景是否稳定;最后投入缓存、预取和图优化,把长历史编码从请求内移到增量状态更新。OneModel的500长度和270ms到90ms结果提醒我们,验收必须同时记录模型容量、端到端延迟、缓存命中率和GPU成本,不能只看AUC。

对UGC短文本搜索,推荐行为可以作为query意图的辅助监督,广告或交易行为则要经过隐私、时效和业务边界处理,避免把商业意图错误迁移给普通内容搜索。最终应同时看跨场景迁移收益、nDCG/CTR、收藏评论、长留存、广告价值、商家转化、曝光量变化和用户分层公平性。统一模型的正确姿势是共享可复用的用户基础能力、保留业务特定决策头,并用可回滚的场景门控制负迁移。

← 全部深度解读 出现于报告:2026-08-21 · Personalization #1 (4.75) 原文 ↗