Multi-Objective Ranking for Live-Streaming: Balancing Fresh and Delayed Signals with Segment-Aware Targeting

1. 问题与动机

这篇论文面对的是直播推荐里一个典型、但容易被普通 CTR 建模掩盖的问题：用户行为不是整齐的点击→购买链路，而是观看、继续观看、聊天、关注、订阅和消费同时发生，且时间跨度不同。Twitch 是创作者与观众双边市场，推荐既要帮助新用户找到内容，也要让成熟用户与主播形成更深关系，同时支持创作者增长与变现。单纯把所有行为压成一个即时标签，会把“现在想看什么”和“几天后是否关注或付费”混为一谈。

作者在 100 万观众、连续 7 天、数百万次曝光的分析中量化了稀疏性：短时观看目标的密度约为点击率的 1/2.5，长时观看约为点击率的 1/3.4，聊天约低 20 倍，关注几乎低 90 倍，消费更稀疏。对于关注、订阅或消费，曝光后几小时甚至几天才发生并不罕见；如果曝光后立刻把未发生的动作标成负例，会把尚未成熟的兴趣误标为不喜欢；如果等很久才建标签，又会让训练数据变旧。已有 ESMM、AITM 一类方法更适合有顺序的转化漏斗，而直播行为可能没有固定顺序。

论文还指出用户生命周期造成训练偏置。Dedicated（成熟/高活跃）观众贡献的数据量约是 Early（新用户或低活跃用户）的 4 倍，统一目标权重天然偏向成熟用户；但两类用户需要的目标不同：Early 更需要即时观看与回访信号，Dedicated 才适合更重视长时观看、互动和变现。论文因此不把重点放在再造一个更大的多任务网络，而是先把新鲜信号、延迟信号和用户分段分开，再讨论 MMoE 等具体架构。

2. 方法详解

2.1 统一的多目标排序函数

系统聚焦推荐链路的 ranking stage。Twitch 先用双塔召回模型从数百万创作者中取出几十个频道，再由深度排序模型计算观众与频道的匹配分。论文将五类动作作为预测目标：SMP（Short-form Minutes Play，短时观看）、LMP（Long-form Minutes Play，长时观看）、chat、follow 和 spend。基础排序形式是 F(x_v,c,s) = Σ_a w_(a,s) · p_a(x_v,c)。其中 p_a 是观众 v 对频道 c 发生动作 a 的预测概率，w_(a,s) 是用户分段 s 下的目标权重。

这个公式的关键不在加权和本身，而在于它允许模型输出一组可解释的行为概率，再在推理时根据生命周期决定目标之间的相对优先级。SMP、LMP、聊天、关注和消费分别对应即时参与、深度留存、社区关系和收入等不同业务目标。

2.2 Delayed Window 与 Fresh/Delayed 分离

对稀疏动作，论文定义曝光时刻 t 后长度为 Δt 的延迟窗口：DW_(v,c)(t,Δt) = {(a,t') | t ≤ t' ≤ t+Δt，观众在 t' 对频道执行 a}。只要窗口内发生过该动作，就把延迟标签置为 1：y_delayed = I[|DW| > 0]。这会把很稀疏的单点行为转成更密集的窗口级监督，但不是无限延长窗口。作者对 7、14、21、28、35 天进行比较，最终为 chat、follow、spend 使用 14 天；SMP 和 LMP 仍使用即时标签。

系统采用 Multi-Model 架构：Fresh Signal Model（FSM）负责较密集、需要反映最新偏好的 SMP；Delayed Signal Models（DSM）负责 chat、follow、spend 等稀疏动作。两类模型并行训练、在线分别输出预测。这样做是为了避免单独使用延迟标签导致所有特征都落后 Δt 天，也避免只用即时标签丢失几天后才发生的关注和消费。最终的 MMoE 版本保留独立 FSM，用 MMoE 联合建模 LMP 与延迟目标。

2.3 Viewer Segment Targeting

作者没有为 Early 和 Dedicated 维护两套完整模型，而是在推理时应用分段条件权重。Early 用户提高 SMP 权重，尽量先促成观看和回访；Dedicated 用户提高 LMP、chat、follow 及 spend 的综合权重，鼓励更深的内容关系与变现。模型参数和训练数据仍共享，只有排序标量化阶段按 w_(a,s) 调整。作者还尝试在训练阶段给 Early 样本加权，但没有带来收益，反而增加复杂度；因此选择零额外参数的 inference-time weighting。

2.4 FSM + MMoE 结构

最终结构的 FSM 预测 SMP；MMoE 预测 LMP、chat、follow、spend。MMoE 有 4 个 expert，采用 3 层、宽度 1000 的共享底层，expert 为两层 512、256，任务 gate 为 4 层、每层 128，任务 tower 宽度为 64。各任务通过自己的 gate 选择共享 expert，既共享相关行为表征，又保留目标差异。最终得分为 FSM 的 SMP 分数与 MMoE 四个目标分数的分段加权和。

训练使用观众人口特征、频道特征和观众—频道交互特征，所有模型采用二元交叉熵；Adam 学习率候选为 0.001、0.005、0.01，batch size 候选为 1024、2048，通过超参搜索选择，使用验证集 NDCG 做模型选择。训练数据是 600 万观众的 7 天曝光，评估集是 100 万观众的一天历史曝光，并向前观察 35 天生成延迟动作的真值。生产请求要求 p99 延迟低于 110ms。

3. 核心技术贡献

第一，论文把“信号时间尺度分离”提升为多任务架构之前的首要设计。单一网络同时吃密集 SMP 和稀疏 follow/spend 时，密集梯度会淹没稀疏目标；把 FSM 与 DSM 分开后，Shared-Bottom、CGC、MMoE 三种骨干的离线表现都接近，说明收益主要来自数据与信号隔离，而非某个专家网络的品牌。

第二，VST 将生命周期偏置变成推理阶段的目标控制。它不增加参数、不要求重新训练用户分段模型，却使 Early 的 DAV 提升 0.15%，同时基本保持 Dedicated 指标。这种“共享预测，分段标量化”的设计对推荐系统很实用，尤其适用于策略变化快、不能频繁重训的产品。

第三，MMoE 不是简单把五个目标全部塞进一个共享网络，而是让 SMP 保持独立，把 LMP 与延迟动作放进同一组。这样既保留长时观看与关注/消费的关系，又避免 SMP 过强地干扰稀疏任务。延迟目标建模参数从多个独立 DSM 的 2670 万降到约 1550 万，减少 41.9%。

第四，论文提供了完整的工业闭环证据：用离线窗口分析确定 14 天，用分阶段 14 天线上 A/B 验证延迟标签、用户分段和 MMoE，再在 Twitch mobile live feed 做迁移测试。它把推荐模型的结构改动与 DAV、LMP、ARPU、follow 以及 p99 延迟放在同一套验证框架里，而不是只报告一个离线 AUC。

4. 实验结果分析

4.1 延迟窗口与离线效果

用 2025 年 6—7 月数据比较窗口长度时，Early 用户在 1 天窗口下表现最差，7—14—21 天都能改善 LMP 与 Spend NDCG；Dedicated 用户则呈现权衡：1—7 天更有利于 LMP，较长窗口更有利于稀疏 Spend，但过长会把已经无关的行为归到旧曝光上。14 天在捕捉消费与保持观看信号之间最平衡；21 天只有略高的 Spend、略低的 LMP，却带来更多计算与陈旧风险。

相对单目标 DNN，最终结构把 LMP NDCG@6 从 0.2459 提到 0.2462（+0.12%），Spend NDCG@6 从 0.0726 提到 0.0739（+1.79%）。单一 MMoE 虽然 Spend NDCG@6 达到 0.0741，却让 LMP 从 0.2462 降到 0.2347，下降 4.7%；这正是“所有目标共享”在密度极不均衡时的失败模式。

4.2 分阶段线上 A/B

第一阶段把旧的单目标 SMP 模型与 FSM+独立 DSM 比较，覆盖数百万访客。整体 DAV +0.09%（p<0.01）、LMP +0.16%（p<0.01），Dedicated 的封顶 ARPU +0.56%（p<0.05），但 Early ARPU 方向性下降 0.72%，说明即时增长与成熟用户变现并非同一目标。第二阶段加入 VST，Early DAV +0.15%、LMP +0.25%，整体 DAV +0.03%、LMP +0.07%。第三阶段以 VST 版本为基线换成 MMoE，整体 follow +0.27%（p<0.01）、DAV +0.08%（p<0.05）、LMP +0.10%（p<0.05）；Dedicated DAV +0.06%但 p=0.11，不能视为显著。

Shared-Bottom 的线上结果更弱：封顶 ARPU +0.19%、DAV +0.06%（p=0.10）、LMP +0.06%、follow +0.15%，均未达到显著。MMoE 版本将延迟目标组件从 26.7M 参数压到 15.5M，同时保持服务延迟。另一个 Twitch mobile feed 的 14 天 A/B 带来正向用户—频道互动（点击、关注、点赞）+1.12%，论文结论处报告 p<0.001，说明并非只在主场景指标上有效。

4.3 失败模式与工业含义

最值得注意的不是平均提升幅度，而是不同人群的方向差异：延迟多模型让 Dedicated ARPU 上升，却让 Early ARPU 下降；VST 的价值正是将这种差异显式化。论文还发现训练时给 Early 样本加权没有收益，推理时调权却有效，说明数据重采样与目标标量化不是可互换的手段。另一个关键结果是三种 MTL backbone 在信号隔离后相近，工程团队应先修标签和时间窗口，再决定 MMoE、PLE 或 Shared-Bottom。

5. 局限与未来方向

论文结尾明确提出三个未来方向：用在线学习自动优化分段权重，扩展 Early/Dedicated 之外的更细用户分层，以及研究能够随动作稀疏性和业务周期变化的自适应延迟窗口。论文还把具体用户分段阈值、SMP/LMP 的分钟阈值、目标权重和部分频道业务细节设为 proprietary，因此复现者无法直接复制生产配置。

从正文披露看，实验集中在 Twitch 直播这一双边市场，且训练、评估和线上 A/B 都围绕观众—频道关系展开；作者没有给出社区 UGC、商品推荐或中文短文本场景的迁移结果。时间窗口依赖 35 天前视真值，意味着训练样本无法在曝光后立即封存，数据管道和指标反馈都会滞后。论文虽然报告 p99<110ms，却没有公开不同流量、硬件、候选规模下的绝对 QPS、内存与训练成本。

这些属于证据边界，不应擅自说成作者已经验证过的通用结论。尤其是直播中的“关注后几天消费”与社区搜索的“点击后短时满意”行为差异很大，直接照搬 14 天窗口可能增加标签污染。未来在社区平台应做窗口长度、目标稀疏性、用户生命周期和内容冷启动的分层实验，并同时报告长期留存与短期 CTR。

6. 工业实践意义

对 CTR/多目标排序团队，第一条可执行建议是先画出每个目标的延迟分布和正样本密度，再决定标签窗口。可以从 1、3、7、14 天做离线对照，观测短期点击、深度停留、关注/收藏和转化之间的 trade-off；窗口变长后不仅看指标是否升，还要看样本封存时延、数据成本和老行为污染。论文的 7 天窗口使聊天正样本约增加 9 倍，14 天约增加 12 倍，但更长窗口出现边际递减，这个思路可以迁移而不能迁移数字本身。

第二条是按信号密度和行为深度分组。社区搜索中浅层点击通常很密，长停留、关注作者、收藏、后续回访更稀疏；可以让浅层点击由 fresh model 负责，把稀疏长期目标放到独立塔或一个多任务组，再在融合层组合。不要默认一个共享底座能解决所有冲突；如果单一多任务模型中点击梯度压制长期目标，应优先做结构性隔离。

第三条是把用户分段控制放在可解释的推理层。新用户、低活跃用户、频繁用户和高价值用户可以共享行为预测，但使用不同的目标权重与守护指标。论文的 VST 证明，不增加训练参数也能提高低活跃用户 DAV；不过真实系统必须设置公平性、内容多样性、负反馈和商业目标护栏，避免“为新用户提 CTR”变成短期标题党或低质量曝光。

部署时应维护双路特征时间戳：即时路读最近行为，延迟路读已封存窗口；对两路模型分别监控 freshness、缺失率、回填比例和 p99。线上先用小流量做分阶段 A/B，像论文一样逐层加入延迟标签、分段权重和 MMoE，避免一次改动无法归因。最终目标不只是总 CTR，而是分用户群的 nDCG、留存、深度互动、转化、GPU/CPU 成本和延迟都能解释。

总体来看，这项工作的最大价值是告诉工程团队“多目标推荐的第一性问题可能是标签时间，而不是网络结构”。在密集点击与稀疏长期行为同时存在的系统中，14 天延迟窗口、独立 fresh signal、推理时分段权重和有选择的 MMoE 组合形成了一条清晰的落地路线；但其生产收益来自 Twitch 的百万级流量与成熟数据管道，迁移到 UGC 社区前仍需用本地行为延迟分布和在线实验重新校准。