UniPolicy：把多目标奖励冲突转化为可调度的生成策略

原文：UniPolicy。以下依据正文第 3–5 节、表 1–4 和附录 A–D；社区搜索迁移建议属于分析判断，不是作者已验证的结论。

1. 问题与动机

生成式召回直接输出广告的语义 ID，早期生成阶段遗漏的候选，后续精排无法补救。因此，美团希望把相关性、点击倾向和商业价值提前纳入召回。论文指出，两条常见路线都有代价：只优化 eCPM 容易牺牲体验；把多个奖励加权后交给同一策略，则让不同目标竞争相同参数与优势信号。奖励量纲归一化不能消除目标最优策略本身的差别。

表 1 给出了具体表现。单目标 GRPO-eCPM 的归一化 Relevance@1 为 −0.042，说明它在该指标上甚至低于 SFT；依次训练多个目标的 Sequential GRPO，其归一化 eCPM@10 仅为 0.119，而对应单目标基准被定义为 1。作者据此强调，后训练不能仅追求最后一个目标的表现。

另一个缺口是 click-only 监督。曝光未点击和未曝光候选包含不同程度的行为信息，但只用点击 ID 训练无法表达这层关系。论文同时处理参数冲突、候选次序与推理解码预算，既延续 TIGER 一类语义 ID 生成思路，也在工业生成式广告的 RL 对齐路线之上增加多策略控制。

2. 方法详解

输入包含 Query、上下文、用户行为及画像，输出为长度 3 的广告 SID。先以点击广告做下一词元预测训练得到 SFT 初始化，再在共享 decoder-only 主干上建立 eCPM、CTR、Relevance 三条目标条件策略。目标前缀的默认长度为 5；前缀提供策略身份，而不是将三种奖励简单拼成一个数。

参数解耦分三层。共享主干保存通用生成能力；Transformer FFN 内插入 MoE-LoRA，默认共有 12 个低秩分支，每次依目标条件隐藏状态激活 Top-3；目标专属残差 FFN 再提供私有表达空间。附录描述 gate、up、down 三个投影各自的低秩更新，以及路由加权残差的拼接与融合。注意力的 Query、Key、Value 与缓存组织不变，这为共享请求前缀的 KV 缓存创造条件。

训练时，每个目标独立 rollout、独立计算奖励和组内标准化优势，再计算 clipped GRPO 损失；各目标梯度累积到同一个共享模型后共同更新。附录明确将参考策略 KL 惩罚系数设为 0，因此复现时不能默认照搬带 KL 的通用 GRPO 配置。路由还有负载均衡和分支多样性正则；其中均衡项在主干隐藏状态处停止梯度，多样性项只更新激活分支的低秩参数。

Funnel 损失将候选分为 Click、Exposure、Miss，使用 Click > Exposure > Miss 的相对顺序。完整 SID 的分数是各词元对数概率之和；对每个正负候选对，优化 softplus(margin − 正负分差)。跨两级的 Click–Miss 使用比相邻级更大的 margin。每个策略的损失由 GRPO 与小权重 Funnel 项组成，默认 Funnel 权重 0.05，然后求和并加入路由正则。这里的曝光顺序是训练先验，不是对用户真实偏好的无偏观测。

推理先对共享 Query、上下文和行为做一次前向并缓存 KV，再按三个目标并行执行各自 beam search。在总预算 B 内配置不同配额，合并后先按 SID 去重；对每条策略内部的长度归一化对数概率再做校准，候选合并分数取生成它的策略中的最大校准分。超额则截断至 B，不足则从最后一个 SID 词元已计算 logits 中保留的合法备用完整 SID 回填，不增加新的模型前向。

数据来自真实工业广告日志，规模是数亿样本、数百万广告，按时间切分防止未来信息泄漏。公开正文未给出足以完整复现的精确数据条数、优化器、学习率、batch size、硬件数量和训练步数；这些应标记为未披露，不能从常见训练配方推定。

3. 核心技术贡献

第一，论文把多目标冲突放到策略和参数层面处理。目标前缀负责条件化，稀疏低秩分支控制共享程度，私有 FFN 提供独立容量；它保留通用主干，又让不同业务目标有不同生成偏好。表 2 中，移除目标 token 后，NDCG@10 从 0.4218 降至 0.4107，归一化 CTR@10 从 1.043 降至 0.754，说明仅有共享模型容量并不能替代明确目标条件。

第二，Funnel 监督与业务 RL 分工。前者要求真实点击候选在完整 SID 概率上排到更前，后者调整业务奖励。移除 Funnel 后，Hit@10 仅从 61.15% 降到 61.06%，NDCG@10 却从 0.4218 降到 0.4005，差值 0.0213。这与作者的定位一致：它主要改善已召回候选的次序，而不只是扩大覆盖。

第三，训练出来的多策略在解码端保持可调用，业务通过候选配额组合它们。相比先训练教师再压缩到单一学生的 MOPD，UniPolicy 的 NDCG@10 为 0.4218，高于 0.4128；但其 Hit 指标并未全面领先。贡献更准确地说是改善排序位置与多目标平衡，不能概括为对所有指标取得最优。

附录还用局部强凹和平滑性假设分析共享策略的耦合代价。这为设计提供解释，但假设不等于大型非凸网络的全局保证。工程上仍应以真实梯度冲突、候选互补性和业务实验为判断依据。

4. 实验结果分析

表中 Hit 是百分数，NDCG 保留原值；数据来自原文表 1。

UniPolicy 相对 SFT 的 NDCG@10 增加 0.0227，约为 5.69% 的相对提升；相对 MOPD 增加 0.0090，约 2.18%。这些百分比是依据表值计算，不是额外实验。MOPD 的 Hit@1 和 Hit@10 比 UniPolicy 分别高 0.20 和 0.25 个百分点，所以若业务首要目标仅是点击候选召回，需重新比较而不能直接照搬论文结论。

业务指标采用特殊归一化：(当前方法分数 − SFT 分数) / (对应单目标 GRPO 分数 − SFT 分数)。因此 1.043 表示相对 SFT 的增量略超过对应单目标基准，绝不是 CTR 为 104.3%，也不能直接解释成相对线上提升 4.3%。表 1 的 UniPolicy 在 Top-10 上 eCPM、CTR、Relevance 分别为 0.992、1.043、1.089，显示商业价值接近专门优化 eCPM 的基准，其他两个目标达到更高增量。

消融中，去掉目标专属 FFN 后 NDCG@10 为 0.4155，去掉 MoE-LoRA 后为 0.4198，去掉 Funnel 后为 0.4005。各部件对不同指标影响不同，不能只按单个 NDCG 差值认定路由没有价值，因为路由同时影响多种归一化业务指标。前缀长度从 1 到 5 有收益，增加到 10 后趋于饱和且开销增大；分支数从 12 到 16 也趋于饱和，Top-4 激活会增加不同目标参数更新重叠。

原文表 3 存在需要保留的数值不一致：混合策略的 N-Rel 写为 1.043，而表 1、表 2 对应值为 1.089；该行 Avg. 0.974 也不等于表列三个值的简单平均。此处不擅自修正作者数据，主要结论引用表 1，并建议复现前向作者确认表 3。

线上 7 天 A/B 报告 CTR +0.71%、RPS +1.58%、广告收入 +1.32%，P99 延迟 +2.5%。摘要中的“延迟稳定”不能理解成零开销；正文量化了尾延迟代价。公开表格没有置信区间或显著性数值，因此这些是作者报告的相对变化，尚不能由读者独立评估方差、流量切分及长期稳定性。

5. 局限与未来方向

论文未设置单独的 Limitations 节，也未系统列出未来工作。作者在训练部分明确承认：独立 rollout 让计算成本大致随策略数量线性增长；在敏感性分析中指出，更长前缀带来解码开销，过大的 Funnel 权重会压制业务奖励优化，更多激活分支可能重新引入目标重叠。这些是正文已有的限制和设计边界。

以下是阅读者额外指出的复现边界：验证集中在单一工业广告平台，没有公开跨 UGC 数据集结果；日志与奖励模型难以直接获取，关键训练超参数未完整披露，表 3 又有内部数值不一致。Click > Exposure > Miss 假设可能携带现有曝光政策偏差，未曝光并不一定意味着不相关。论文也没有证明多策略收益在冷启动、新内容快速上架、奖励漂移或更多目标下仍然成立。

这些局限不否定线上结果，而是决定了迁移试验的范围。优先确认两三个目标的差异和候选互补性，再考察更大目标集合；需要保留独立相关性评估，防止奖励模型的系统偏差被生成策略放大。

6. 工业实践意义

对社区 UGC 短文本搜索，最直接的借鉴是将相关性和点击倾向分别建模，在固定召回预算下比较策略组合。若业务尚无稳定的生成式 SID 召回，不宜同时引入语义编码、多目标 RL 与在线解码改造；可以先用已有生成召回检查不同目标是否确实产生互补候选，再逐步引入前缀、低秩路由和漏斗监督。

建议离线固定时间切分、候选预算与曝光策略，分别记录 nDCG、点击候选 Hit、长尾内容覆盖和不相关候选比例。Funnel 的消融表明，只看召回命中会漏掉排序质量改善；相反，只看综合 nDCG 也会掩盖某个目标被压制的问题。对于社区短文本，需对曝光未点击样本区分可见性、位置与停留条件，避免把未充分观察的内容一概当作较弱偏好。

部署重点是共享请求上下文 KV，而不是把三套完整模型各跑一遍。末级 logits 回填减少补充候选的额外前向，但仍需验证 SID 合法性、不同策略去重比例和分数校准。P99 增加 2.5% 是该系统的实测值，不代表任意规模与硬件都能保持这一开销；论文未给出可直接预算的绝对延迟、显存占用和硬件配置。

在线试验应先设置相关性底线，在可接受的 P99 和成本范围内比较 CTR，再决定是否引入商业目标。需要观察配额变化能否稳定改变候选分布，而非仅改变离线奖励分数。广告收入、RPS 与社区互动并非同一目标，不能把美团的相对收益作为本地项目预期收益。真正可行动的结果是一个带线上证据的设计组合，以及必须逐项验证的训练成本、偏差和解码取舍。