OneTrans-V2 深度解读

原文：https://arxiv.org/html/2609.28589 。以下数据来自论文正文第 4–7 节；业务迁移建议为分析判断。

1. 问题与动机

传统推荐级联先从十亿级目录召回数千候选，粗排缩减到数百，再由精排处理更丰富的用户与物品交叉特征。论文没有直接取消这个漏斗，而是指出各阶段独立建模造成四类成本：用户历史重复编码、监督相互隔离、特征和工程改动需要多次实现，以及容量分散在多个模型。另一个碎片化来自召回目标：点击成交、新类目发现与广告通常各用一条独立通道，业务目标变化就要新增模型或解码过程。

OneTrans 原先只统一单个排序模型内的特征交互和行为建模，V2 将统一边界扩展到整条级联。作者认为直接用生成模型替换全部阶段可能丢失精排依赖的丰富候选特征，因此保留阶段任务，却共享候选无关的用户编码。正文给出原线上三模型总计每请求 275 GFLOPs；新小模型为 239 GFLOPs，大模型为 662 GFLOPs。这说明问题不只是减少算术量，还包括把重复计算、训练组织与 GPU 利用率一起改造。对社区 UGC 搜索，类似痛点出现在召回、粗排、精排各自处理同一用户历史时，但只有用户侧上下文确实重复且可共享时，该设计才具有直接迁移价值。

2. 方法详解

共享因果 Transformer 编码用户行为序列，各阶段在共享上下文后附加自己的候选 token。阶段可见性掩码保证任务 token 可以读取历史，却不能跨阶段读取彼此，也不能反向改写共享用户状态。粗排只用轻量特征与一个 token，精排用多个 token 处理更丰富的特征；各阶段计算预算仍可独立设置。阶段 token 的异构参数化保留了不同输入特征的表达能力，共享不是让所有候选强行走同一表示路径。

DCGR 的生成序列先预测决策，再生成物品 SID。决策包括购买层级、发现程度、自然或广告供给类型、消费金额层级；其中购买结果与金额具有依赖关系，而独立维度不宜被任意串行排序。实现把四个维度安排在两个 token 位置，独立维度并行组合，相关维度再链式建模。SID 有三层，每层 codebook 含 8192 个条目。业务 offset 对预测决策分布施加偏置，随后仍由共享生成器按决策生成候选；它不是把目标作为固定标签强制输入。线上可以调整 offset 强度，无须为每个目标再训练单独召回通道。

训练联合召回 next-token 损失、粗排与精排预测损失，并加入精排到粗排的蒸馏。损失权重分别为 0.1、1、1，蒸馏权重也是 1；蒸馏温度 0.5，中心均值以动量 0.9999 的指数移动平均维护。教师侧 logit 脱离学生梯度，避免学生学习反向损伤精排。稀疏 embedding 用 AdaGrad，学习率 0.1、初始累积量 1；稠密参数用 AdamW，beta1=0、beta2=0.99999、epsilon=1e-5、权重衰减 0.01。作者解释 beta1 为零时没有动量，实质接近带二阶矩偏差校正和解耦权重衰减的 RMSProp。BF16 训练在 16 块 GPU 上进行，每 GPU batch 为 2048，并对稠密和稀疏参数做全局梯度范数裁剪。论文未在所读实验设置中给出 GPU 型号、精确训练步数与生产日志总样本量，因此不能据此估算完整复现成本。

主干采用 GQA 缩小共享 K/V 缓存；细粒度 MoE 包括一个始终激活的共享专家和若干按路由分数选出的专家。sigmoid router 独立判断每个专家相关性，避免 softmax 的此消彼长和随专家数量变化的分数尺度。注意力输出在写回残差前乘输入相关的 sigmoid gate，抑制无效头与过大激活。QKNorm 控制注意力 logit 尺度，宽度采用 μP，深度采用 Depth-μP，使扩展后的更新量维持稳定。

SNT 按用户时间窗口存储一次行为序列，多次曝光只保留各自的请求身份、时间、任务、特征和标签。曝光通过时间锚点只能读取当时已经存在的历史前缀；追加行为不会改变先前因果状态。请求 query 与行为 key 按各自时间做 rotary 编码，使交互依赖时间差，同时历史 key 可以缓存复用。实验窗口按天切断，保证日级评测不被共享窗口穿越。

3. 核心技术贡献

第一项贡献是保留级联的模型统一。它共享的是候选无关历史，而非让精排消费召回生成轨迹；前向隔离掩码保留了任务自主性，联合训练则把三个目标的监督注入同一历史表示。匹配架构与参数预算的消融中，阻断召回对共享上下文的梯度时，召回 HR@1 增益为 7.63%；允许梯度进入后达到 15.44%，粗排和精排 CTR UAUC 分别增益 0.28% 和 0.31%。这些是相对变化，不能理解成 AUC 绝对百分点。

第二项贡献是将业务多目标置入可预测的中间决策空间。与外部固定目标 token 相比，DCGR 先保留用户条件概率，再逐渐偏移业务偏好。购买数量与价值分开表示有实际收益：用一个 GMV token 代替两者，交易额加权 HR@1 降低 9%。早期三维决策串行实验中，将成交维度放在首位或末位，成交 HR@128 分别为 0.4590 和 0.4520，说明解码顺序本身会偏置目标，支持独立维度并行化。

第三项贡献是把训练样本和服务内核一起纳入统一架构。SNT 将用户历史编码在多次曝光间摊销，获得 4.4 倍训练加速、序列特征存储减少 95%，非序列特征存储减半。服务中每 beam 先保留自己的 top-k，再合并做全局 top-k，保持结果等价而缩小中间候选池；决策空间较小，可以枚举合法前缀并一次评分。配合内核融合、FP8 SwiGLU 和跨阶段 K/V 复用，模型增加计算量仍能提高吞吐。该结果强调计算量、内存流量和实际 GPU 利用率必须分开评估。

4. 实验结果分析

离线使用生产日志，按时间排序，并保存曝光时的特征快照，避免未来信息进入训练。next-batch 协议在每个 mini-batch 更新模型前先评分，指标按天统计再宏平均。召回报告 HR@1/10，粗排与精排报告 CTR/CVR 的 AUC 和按曝光加权用户 AUC。所有排序方法使用相同曝光与标签，没有引入未曝光候选或采样负例；本文这一设定与多数公开十候选推荐基准不能直接横比。

注意表中单模型 FLOPs 只覆盖其自身任务；比较全级联时应加上 OneTrans-Lite 粗排的 4 GFLOPs，因此生产对照总计 275。S 模型以更少总 FLOPs 提升全部阶段，而 L 模型投入约 2.4 倍总算术量，召回 HR@1 相对提升 69.36%。因此 L 的离线质量优势同时包含容量扩展，不能全部归因于共享表示。

联合训练和蒸馏有独立消融。只合并粗排、精排时，两者 CTR UAUC 相对增长 0.17% 和 0.21%。从统一模型删除蒸馏后，粗排 CTR AUC 降低 0.55%、UAUC 降低 0.97%，精排变化不超过 0.04%。线上跨阶段排序逆序率下降 6.7%，粗排 top-10 与精排 top-10 的交集覆盖提升 31.4%，top-50 覆盖提升 13.5%。这些结果比单看最终 GMV 更能解释粗排减少优质候选早期漏失的机制。

完整 A/B 以用户哈希随机分组，实验和对照各 50% 流量，大模型替换原三阶段级联。用户 GMV 相对增长 9.74%，活跃天数增长 0.25%，同硬件端到端 QPS 为 3.2 倍。独立的召回通道合并实验中，DCGR 主通道 GMV 为原主通道约 1.5 倍，但每千曝光订单下降 34%、每千曝光 GMV 下降 13%；主要因为曝光量增长 69.3%。这一反例提醒读者，总业务量增长并不证明每次曝光效率提高，且新模型承接了原广告与发现通道的流量。

硬性强制决策也有风险：强制点击倾向使 CTR 增长 8.2%，GMV 反而下降 5.1%；强制最高金额倾向使 AOV 增长 38.9%，订单减少 33.5%，GMV 下降 7.7%。soft offset 能提供较平滑的目标权衡，但偏移越强 CTR 也可能转负。模型容量还改变最佳特征设计：XS 小模型直接输入多模态 embedding 会降低 CTR UAUC 0.10%，大模型同设计则提升 0.33%，说明高维特征并非无条件有效。

服务消融中，不加内核融合与 FP8 的统一精排吞吐只有旧精排的 0.58 倍，加入融合达到 1.66 倍，再加 FP8 达到 2.16 倍。共享上下文在全级联上进一步贡献 1.53 倍。SID top-k 优化相对作者自己的单阶段实现带来 19.7 倍吞吐和 2.3 倍 beam 时延改善，决策前缀一次评分使累积解码吞吐达到 27.6 倍；这些数字不是相对整个旧生产系统的倍数，不能与 3.2 倍直接相乘。

5. 局限与未来方向

正文未提供独立的正式 limitations 节，以下先列作者明确承认或限定的范围。作者指出本次生产日志与 OneTrans 原论文采用不同时间窗口，所以绝对指标不可跨论文比较。SNT 当前按日切分用户窗口，其加速受日边界限制；周、月窗口可能更快，但留作未来配置研究。小模型与大模型的多模态特征结果相反，作者将小模型缺少跨表示空间映射能力作为假设，而非证明。吞吐强依赖服务内核和精度改造，原文明确 GFLOPs 不能作为吞吐代理。

此外，下列是实践评审判断，不冒充作者结论：生产日志、完整特征体系与在线流量不可直接获取，精确参数配置和训练步数披露也不足；A/B 持续时间、置信区间与长期用户留存未在上述结果中给出。交易型场景的 GMV 增益是否能迁移到社区 UGC nDCG 与 CTR 尚无证据。长期追加目录、热点变化及历史删除对共享缓存和 SID 稳定性的影响，值得独立测试。

6. 工业实践意义

社区搜索可先从复用用户历史编码与模型内蒸馏做局部试验。保留当前候选侧语义匹配、帖子时效和 query-item 交叉特征，将候选无关的用户上下文抽成共享服务；比较粗排 top-K 对精排高质量候选的覆盖与排序逆序率，再看最终 nDCG 和 CTR。用户窗口训练必须以请求时间做历史可见性锚点，否则计算复用可能换来未来信息泄漏。对 query 相关信号，不应把所有 query 都压进无条件用户上下文。

DCGR 提供一个可调的多目标召回接口，可以探索“相关性、发现、内容质量”决策维度，但需要先验证这些维度是否具有可靠标签及是否独立。论文的硬强制结果表明，把目标设到极端会牺牲总收益；社区场景尤其要以 query 相关性和用户反馈作约束，不能仅提高探索覆盖。可先影子流量测量 offset 对相关性、长尾曝光、负反馈和时延的响应曲线，再做用户级随机试验。

部署层面，收益需要共享缓存布局、阶段掩码、融合算子和混合精度共同配合。推荐连续数值特征仍保留 FP16，论文只把较稳健的 SwiGLU GEMM 推向 FP8，避免全链路无差别量化。共享 K/V 还要求各阶段 key/value 头数和 head dimension 兼容；GQA 与候选批处理可节省内存，但要测实际 cache 读写流量。优先验收小模型 S 的质量与成本曲线，再考虑大模型扩展，更有利于区分联合学习收益和容量收益。任何线上复现都应分别报告模型、服务内核和流量分配变化，避免把 9.74% GMV、27.6 倍局部解码吞吐和 3.2 倍整链路吞吐混成一个结论。