UniRec：把粗排与精排的多目标融合放进同一训练图

原文：https://arxiv.org/html/2609.11052 。以下依据论文第3—5节、表1—2与结论；业务建议和额外审阅意见单独标明。

1. 问题与动机

工业推荐通常先召回，再粗排、精排和重排。各阶段拥有不同特征和算力预算，独立训练容易造成偏好不一致：精排认为值得展示的物品，可能早已被粗排过滤；粗排某个预测任务变好，最终融合分也不一定更符合精排偏好。论文强调，这个缺口存在于“多任务预测分如何融合为一个选择分数”的模块，单独蒸馏粗排预测模型无法完整解决。

作者区分了两类已有方法。COPR等跨阶段协调方法主要把下游排序监督传给上游；EMER、UMRE等融合方法则主要优化单个阶段。UniRec联合优化两阶段融合器，同时保留阶段预算差异。在RecFlow实验中，独立融合的EMER跨阶段ASH仅0.7219，而UniRec达到0.9978，说明融合方式确实会影响下游偏好候选的保留。这里ASH是精排Top-10被粗排Top-50保留的比例，不是最终点击率。

这一问题与社区UGC搜索具有明确联系：如果粗排偏重点击、精排同时考虑相关性和停留，单阶段离线指标提高可能无法传递到最终列表。不过原文业务为短视频推荐，迁移到搜索时仍须重新定义查询相关性约束，不能直接套用观看时长目标。

2. 方法详解

输入与模型连接。 每个请求对应嵌套候选集合：召回集合包含粗排留下的集合，后者再包含精排输出。两融合器共享用户、物品、上下文以及粗排pXTR预测的嵌入；精排独有的预测分另用私有嵌入，因为这些信息在粗排在线阶段不可获得。每个阶段先用DCN建模显式交叉，再接自己的融合网络。粗排使用较轻的MLP-Mixer；精排使用AutoInt-Lite，其K/V投影共享权重、仅保留一层交互、小规模多头配置，并用线性捷径补偿容量。

精排还接收粗排隐表示经过适配器后的特征。但这一分支先执行stop-gradient：精排损失不能沿适配器反向改造粗排塔，让粗排隐表示只服务于下游。真正的双向梯度耦合发生在共享嵌入，两阶段损失在同一次反向传播中更新它。论文所谓双融合“agent”是训练图中的模块，并不涉及在线语言模型智能体。

纵向偏好对齐。 对同一请求的物品对，先取精排融合分差的符号作为标签，再对粗排分差施加Softplus成对损失。精排标签停止梯度，仅使用拥有精排分数的共享候选。对齐的是相对顺序，避免直接拟合两个阶段尺度和校准不同的绝对分数。它不能直接监督已被过滤、没有精排分数的全部候选，这是实际训练数据边界。

横向紧凑聚合CPPA。 每个预测任务都对物品对给出正向或反向偏好，原形式逐任务计算加权Softplus。对于固定物品对，各任务的非线性输入实际只有分差及其相反数，因此先将支持正向的任务权重相加为A+，支持反向的相加为A−，再计算“A+乘Softplus负分差，加A−乘Softplus正分差”。这是分配律下的精确重组，冲突目标仍以双向证据保留。它将可微Softplus项从O(MN²)缩减到O(N²)；构造偏好证据仍需处理任务信息，不能把它说成整个训练完全不再依赖任务数。曝光候选另用真实用户反馈的成对损失，补充预测先验。

属性组内正则AGRR。 长视频更容易累积观看时长奖励，模型可能整体抬高某个时长区域。作者先用正反偏好证据的归一化差计算物品奖励，再按视频时长分位数分桶。桶内奖励经均值中心化、标准差归一化和截断得到优势；小桶跳过，标准差设置下限。优势经温度softmax形成固定目标分布q，融合分在同一桶内softmax形成策略分布π，最小化KL(q‖π)。统一抬高整个桶的分数不会改变桶内分布，因此不能从这一正则得到收益。跨桶排序仍由原成对目标负责，AGRR并非强行拉平各类曝光份额。

训练与上线。 RecFlow完整数据有37天、约4.2万用户、930万请求、3800万曝光样本及19亿阶段记录。本文使用2月1—8日数据：前4天训练DSSM粗排骨干和DIN精排骨干后冻结；2月5—7日训练融合器，2月8日测试，输入含50步行为序列和7个任务。工业实验约10万用户、超过100万请求，处理数十个目标。报告的对齐、精排反馈、精排AGRR权重分别为1、1和0.3；正文没有给出可完整复现的优化器、批大小、GPU配置及总训练步数，不能据此补写。上线时两个融合器导出为独立图、复制共享嵌入表，因此联合训练本身不增加跨阶段在线调用。

3. 核心技术贡献

第一，优化对象从单个预测任务或单阶段融合器，扩展为粗排和精排的联合融合。部分共享嵌入允许两边共同塑造表示，停止梯度的适配器又避免精排直接侵占粗排塔。这种耦合比“固定下游老师向上游蒸馏”更紧密，公开实验中相对COPR，精排NDCG@10由0.0615提高到0.0990，ASH由0.9668提高到0.9978。不过这些是完整方法对比，不能全部归因于共享嵌入一项。

第二，CPPA通过代数等价变换压缩反向图，保留同一物品对上多任务意见相反的情况。它与减少任务、随机丢弃任务损失不同。替换成逐任务原式后排名性能相同，而CPPA训练吞吐提高30.1%、每样本处理时间减少23.1%，说明这一项主要解决训练效率。

第三，AGRR复用已有偏好证据作为奖励，不依赖额外奖励模型，也不需要GRPO式生成采样。它借用组内比较原则，让属性组整体被抬高不再改善正则目标。其KL形式下界为零，较直接优势加权似然更能避免只放大分数尺度的退化；作者报告移除AGRR导致ASH下降0.0215，表明其主要价值体现在跨阶段一致性。

4. 实验结果分析

公开RecFlow结果如下，数值来自表1，所有指标越高越好：

UniRec在两阶段全部6个NDCG截断位置领先，但AUC并非最好。相对UMRE，精排NDCG@10相对提高约4.54%，AUC则绝对下降0.0097。作者解释AUC是跨请求汇总的二元指标，而NDCG衡量请求内部排序；级联选择发生于单个请求内，二者不能互相替代。这个结果反而提醒实践者，不应只根据汇总AUC选融合器。

消融在工业数据上进行。移除真实后验反馈损失造成六项指标中最大的下降，说明纯预测先验无法充分承担目标权衡；移除多任务先验对排序质量造成第二大影响，但对ASH影响较小。移除对齐项让ASH下降0.0139，而论文报告三项精排指标不变，符合精排监督标签停止梯度、主要修正上游的设计。移除AGRR使ASH下降0.0215，排序指标仅小幅变化。原文图表未在正文逐一列出所有消融坐标，这里只采用明确给出的差值，不推测其他数值。

线上一周实验覆盖随机选取的20%真实流量，仅替换两个阶段的融合模块。相对生产基线，AppUsageTime提高0.616%、TotalWatchTime提高0.675%、VideoWatchTime提高0.755%、ActiveUsers提高0.189%；Like提高2.367%、Follow提高1.573%、Collect提高1.890%，LT7提高0.142%。作者报告所列指标均未下降并已全量上线，但文中没有提供每项指标的置信区间、样本量与显著性检验细节，不能把“均为正”扩展为所有收益都已得到同等统计证明。

5. 局限与未来方向

作者在结论提出，未来扩展至重排阶段、其他偏差属性，以及电商和广告场景。因此当前验证范围是两阶段融合、以视频时长为主要属性的短视频推荐；并未证明能在任意业务目标、任意级联深度上保持收益。对齐和上游AGRR只覆盖有下游对应候选的样本，对没有精排结果的粗排淘汰项仍缺乏直接监督。

补充审阅意见：公开实验骨干被冻结，支持的是融合层联合学习，不是全链路所有参数端到端训练。正文缺少完整训练超参和硬件信息，也没有毫秒级延迟、内存或训练显存的绝对测量。线上周期仅一周，更长期留存和内容生态效果仍需持续观察。AGRR的组内softmax不随桶整体平移变化，但这不构成最终曝光分布必然无偏的证明，因为其他损失仍然决定跨组选择。

6. 工业实践意义

对社区UGC搜索，最可操作的第一步是审计“精排偏好项被粗排保留多少”，在既有CTR和nDCG之外记录ASH或类似保留率，区分候选损失与排序误差。随后可以保留现有多任务预测骨干，只替换融合层，以共享嵌入、成对对齐和后验反馈形成较小范围的试验。查询相关性应成为独立监督或约束，不能让高停留目标覆盖答非所问的内容。

如果现有训练为每个任务生成大量相同形式的成对Softplus，CPPA适合单独实施：先数值核对重组前后的损失与梯度，再测吞吐、显存和每请求候选量。由于原文等价变换依赖“相同分差、仅方向和权重不同”，不能未经推导就套到任务温度不同或任务有独立分数头的任意损失。

AGRR可用于探索文本长度、内容形式等与停留奖励相关的属性，但应先验证这些属性是否真的造成优化捷径；分桶方法、最小桶样本量和正则权重需要业务实验。观察CTR、相关性nDCG、有效停留、负反馈及内容分布，避免仅凭应用总时长判定所有用户体验都改善。线上部署还需要同步两阶段共享表版本和特征定义，防止训练中共享、服务时漂移。原文证明了联合训练可以拆成阶段独立服务，但没有免除具体业务的容量压测与尾延迟验证。