UniVA：腾讯视频号广告生成式推荐的统一价值对齐

1. 问题与动机

UniVA 直面工业广告场景下生成式推荐 (Generative Recommendation, GR) 的"价值不一致"问题。作者明确指出三个具体缺陷：(a) 价值不敏感的 SID tokenizer——语义相似的广告可能拥有截然不同的商业价值 (eCPM、ROI)，但现有 RQ-VAE / RQ-Kmeans tokenizer 只对齐内容语义，把高价/低价广告合并到同一 codebook 分支；(b) 语义主导的 SID 解码——自回归生成只看上下文语义相关性，对商业价值毫无感知；(c) 价值无知的在线服务——beam search 按生成概率展开，最终再用一个独立的 ranker 排序，重排会冲淡 GR 的分布优势。

论文以 Tencent WeChat Channels 广告系统为基线，引用 GPR (Zhang et al., 2025) 等先前生成式广告方法。基线生成式推荐离线 HR@100 与基线持平，但 wNDCG@100 落后近 26.2%——量化证据表明：纯语义 SID 的生成式范式不能直接迁移到商业广告。这一观察构成本文的核心动机：必须把"商业价值"作为一等公民贯穿 tokenizer→decoder→serving 三阶段。

2. 方法详解

UniVA 的统一价值对齐框架包含三个组件：

(1) Commercial SID Tokenization：分层 SID 设计：(s¹,...,s^{L-1}) 由 RQ-Kmeans+ 语义编码生成，最后一层 s^L 专门承载商业属性。属性压缩把稀疏的优化目标、ROI、行业、出价压缩成有限类别（25 类 OptGoal、8 类 ROI、10 类 industry）；再用"分类后分箱" (Classify-then-Bin) 策略：先按 (OptGoal', ROI', Industry') 分组，组内按出价做等频分箱，并通过加权熵 H = Σ_k w_k H_k 优化分箱粒度，受全局词表预算 Σ_k n_k ≤ V 约束。最终 ψ(k_i, x_i^b) 将"组键-分箱"对映射到全局 token id。

(2) Generation-as-Ranking 双头解码器：以 HSTU 共享 encoder 编码 User/Organic/Environment/Item 上下文 h = Enc(U,O,E,I)。decoder 引入两条扩展轴提升容量：Mixture-of-Experts (64 专家 top-16) 和 Mixture-of-Recursions (递归共享 mid block)。每个 decoding step 产出双头：生成头 o_gen = f_gen(z) 与价值头 o_value = f_value(z)，最终分布 π̃_θ = Softmax(Fuse(o_gen, o_value))，融合采用 element-wise 求和。

(3) SL + RL 联合训练：监督损失 ℒ_SL = -Σ log p_θ(s_{T+1}^l | s_{T+1}^{<l}, h) 训练生成头预测下一 SID。RL 阶段把 eCPM 作为奖励信号，用模拟器从生产快照采样轨迹（替换固定 5% 采样为基于学习难度的自适应采样）；轨迹由 beam search 和 MCTS-PPO 并集 𝒴(h) = 𝒴_beam ∪ 𝒴_{mcts-ppo} 收集；reward 按上下文做 z-score 归一化 R̄ = (R_eCPM - μ_R(h))/(σ_R(h)+ε)。损失为 PPO + value head ℒ_RL = ℒ_PPO + λ_v ℒ_value，与 SL 批次交替训练。

(4) Value-Guided Personalized Beam Search：在线服务时，构造全局合法 SID 路径 trie 𝒯，每个请求按用户/定向规则裁剪得到 𝒯_u；beam search 评分直接复用 fused logits：Score(s_{≤l}) = Σ Fuse(o_gen^t, o_value^t)[s_t]。

训练配置：SID decoder 参数量 3M (base) → 80M (full)，FLOPs 4.1G→23.2G；3 层 SID (2 语义+1 商业 2048)；MoE 64 总专家 top-16；Adam lr=1e-3；batch=16；seq=2048。

3. 核心技术贡献

(a) 价值感知 SID 设计：把商业价值从下游 loss 下沉到 token 级别。这一改动零参数代价就带来 HR@100 +5.78%，本质是把"出价相近的广告塌缩到同一 SID 子树"，让自回归解码直接受益于商业聚类先验。

(b) Generation-as-Ranking 双头融合：传统两阶段范式中，生成阶段输出 top-K 候选再喂给独立 ranker，会稀释 GR 的分布。UniVA 把价值预测下沉到每个 token decoding step，并通过共享 logits 让在线 beam 直接复用，消除了独立 ranker 模块。在线 A/B 实验里，这一改动单独贡献 +0.47% GMV 提升。

(c) eCPM-aware RL with MCTS-PPO：把 beam 和 MCTS 联合做采样，能在 beam search 高似然区之外探索"高价值但低概率"轨迹，并以 z-score reward normalization 稳定训练。

(d) 个性化 trie 约束 beam search：解决了"生成路径不可投放"问题——300 beam width 在无 trie 时只能恢复 48 条合法路径，加 trie 后恢复全部 300 条。

4. 实验结果分析

离线主表 (Table 1，HR@100 相对提升)：GPR+SID Decoder 基线 0%；+ Commercial SID +5.78%；+ Layer2-4 深度 +6.10%；+ MoR +13.56%；+ Sparse MoE +18.40%；UniVA Full +37.04%。可以看到容量扩展（MoE+MoR）贡献了 +18.4%，RL 联合优化在容量基础上又叠加 +18.64pp，说明价值对齐与容量扩展是正交的提升。

价值指标 (Figure 2/3)：2×2048 SID + CSID 配置最佳，ValueHR@100=0.0677，wNDCG@100=0.0554（相比纯语义基线 +26.2%）。同一 SID 路径内出价标准差、P75、P99 都下降约一个数量级——量化证明 CSID 把出价相近的广告聚到一起。

Codebook 尺寸 (Table 2)：2×2048+CSID 在 HR@1 上 +55.56% 提升；2×8192+CSID 反而下降——说明语义 codebook 必须与商业 codebook 容量匹配，否则商业 token 被语义稀释。

线上 A/B (5% 流量, 3 月 7-11 日)：v1 (无 Generation-as-Ranking) GMV +1.03%，v2 (含 GaR) GMV +1.50%，GMV(normal) +1.42%。GaR 单独贡献 +0.47%——这是把"重排融入生成"的关键证据。

值得注意：HR@100 与 GMV 提升比例 (37% vs 1.5%) 差异巨大，是工业 GR 论文的典型现象——离线相对指标天花板高但线上有诸多约束（库存、定向、风控）削减真实增益。

5. 局限与未来方向

论文未单独写局限性章节，可推断的限制包括：(1) RL 依赖离线 simulator 保真度，若与线上分布差异大则 RL 增益会被高估；(2) 商业 SID 的 attribute compression 依赖手工类别划分（OptGoal 25 类、ROI 8 类），换平台需重做；(3) Personalized trie 在用户定向极窄时会塌缩到极少候选，影响多样性；(4) 方法围绕 eCPM/GMV 目标设计，非广告场景（如内容推荐的 dwell time、互动率）的迁移需要重设 reward。

6. 工业实践意义

对社区/UGC 平台的搜索推荐团队，UniVA 提供四个可借鉴 pattern：

(1) 多目标融入 token 级别：与其在排序阶段加多目标 loss，不如把目标（如互动率、停留时长、内容质量分）作为 SID 的额外维度，让生成阶段就感知到——这与"商业 token"是同一思路的不同侧面。

(2) Generation-as-Ranking 替代两阶段：当 GR 已经能产 top-K 候选，再串一个独立 ranker 反而稀释分布。把 ranking 信号下沉到 decoder 共享 logits，可省一整个排序模块且效果更好。

(3) Trie-constrained beam search：UGC 内容也有大量"不可投放/不合规"约束（敏感、未审核、已删除），用 per-request trie 约束 beam 展开，比生成后过滤更高效。

(4) MCTS-PPO 增强 RL 探索：beam search 倾向高似然区，对长尾高价值内容覆盖不足，加入 MCTS 探索是工程上可落地的方案。

部署考虑：UniVA 80M decoder 与 256-dim embedding 的规模在工业上是温和的；论文未给出延迟数字，但 beam width 300 + trie 约束属于可承受范围；离线 simulator 的搭建是工程门槛，需要从线上日志重建可回放的反事实环境。