Mend the Measurement Gap: Latent User Preference Modeling for Short-Form Video Recommendation

原文：Mend the Measurement Gap，正文第3节方法、第4节实验及第5节结论。以下区分论文已验证的结论与面向社区UGC搜索的迁移建议。

1. 问题与动机

短视频平台无法直接观测用户是否喜欢内容，只能收集观看、点赞、分享、负反馈和问卷等行为。同一次长观看可能来自真正享受，也可能来自被动消费；相同观看时长对于不同视频长度的意义也不同。直接优化观看时长会偏向长视频，完成率又可能偏向短视频。普通多任务模型即使同时预测多个反馈，仍把这些受混杂因素影响的观测当作优化目标，没有显式解释信号的生成过程。

作者把这一差距称为测量缺口：观测到的是行为，想学习的是偏好。该工作承接变分信息瓶颈、多行为潜变量推荐和基线相对去偏思路，将它们组织成一个曝光级测量层。潜在价值在这里不是强化学习价值函数，也不是长期商业价值。论文把模型应用于YouTube Shorts预评分阶段，目标是让潜变量作为排序公式的主要输入，而非把每个任务概率简单加权。线上主要愉悦度指标提升2.67%，说明它对现有生产多任务模型提供了实际增量，但不表示每个离线任务都提高。

2. 方法详解

每次曝光的服务特征记为x，受限混杂特征子集记为xb，包括视频时长、用户行为倾向和会话环境。反馈集合包含二元标签及分桶标签，分别使用sigmoid与softmax输出。完整特征进入共享MLP编码器，通过独立输出投影得到高斯分布的均值和对角方差，再用重参数化采样得到潜变量z。潜变量分为消费zp、主动互动za、情感方向zs三个语义因素。

模型具有两条结构路径。基线MLP仅输入xb，输出各任务的基线logit。它刻意不接收用户与视频的匹配特征，避免直接承担相关性预测。潜变量路径则先按任务使用硬稀疏掩码选择z中的因素，再经任务解码器产生残差优势。优势乘以softplus转换得到的严格正增益，最终logit等于“停止梯度的基线logit，加潜变量优势”。这里的停止梯度非常关键：主反馈损失只更新编码器和潜变量解码器，基线只由独立基线损失训练。否则，解码器可以随意混合混杂因素和潜变量，无法给潜变量提供专注残差信息的压力。

消费类反馈主要接收zp；显式反馈联合使用za和zs，因为主动表达本身不能说明正面或负面。同样的互动强度既可能来自喜欢，也可能来自厌恶。预设路由、正增益、具有正负方向的反馈标签共同减少高斯潜空间的旋转与符号不确定性。作者把这种约束称为语义角色的归纳偏置，而非声称无监督训练自动识别了真实偏好。

训练总损失由主反馈交叉熵、独立基线交叉熵与加权KL正则相加。每个任务还乘以观测掩码，只有该曝光真实具有有效反馈标签时才参与对应损失；缺失的稀疏问卷或反馈不能直接标成负样本。KL把编码分布拉向标准正态，抑制潜变量变成任意任务隐藏单元。服务时由zs的sigmoid和zp的softplus形成潜在价值分数，za只用于训练辅助，不进入最终偏好评分。

正文没有公开训练样本量、优化器、batch size、硬件、步数、完整路由表和精确排序组合权重。复现者可以实现结构骨架，但不能把这些未公开参数当作已有配置。原文也没有提供端到端延迟或GPU开销数字。

3. 核心技术贡献

第一项贡献是把“多任务预测”进一步拆成“测量基线加偏好残差”。传统多任务头通常共同利用全部特征预测反馈，而这里限制基线只能解释可预测的测量变化。停止梯度和单独训练目标使两条路径的职责在优化层面被落实，而不只是两套特征名称。

第二项贡献是有明确语义连接的三个潜因素。消费与主动互动、正负方向分离，避免一个总参与度分数把点赞和负面互动都当成价值。硬掩码限制各任务可使用的因素，正增益和标签极性帮助稳定方向；三次独立训练中，喜欢与显式负反馈样本在情感因素上相隔1.7至2.0个标准差，语义角色和方向保持一致。

第三项贡献是让测量层直接接入已有排序链路。它替换生产预评分模块，把潜在价值输出作为下游排序输入，因此不要求重新设计候选召回。作者在线实验中观察到主要愉悦度提升2.67%，新视频冷启动切片获得超过2%的早期互动转入主流分发收益。不过这些是平台内部定义的指标，不应转写成CTR、收入或长期留存提升。

4. 实验结果分析

正文表1的生产多任务基线与FLVM对比如下。

观看时长RMSE下降约4.58%，点赞PR-AUC相对增加约26.49%。这些是按公开表格计算的相对差值，不能与线上业务增量混用。完成观看的总体PR-AUC确实下降，不能概括为所有离线指标全面改善。作者按时长进一步切分，发现超过60秒的视频上各项指标更好，完成观看PR-AUC平均增加0.0032；短于60秒的切片平均下降0.0053。这支持一种解释：原生产模型的一部分总体优势依赖短视频完成率的结构规律，而新模型更加关注难消费内容中的偏好信号。该解释仍需业务目标与长期指标支持。

表2给出两条路径的分解，不是完全重新训练各组件后的标准消融。

点赞最能体现协同：仅潜变量路径反而很弱，两条路径结合后才优于任何单一路径。说明“残差优势”不能脱离它对应的基线直接解释为完整反馈概率。完成观看与跳过由潜变量贡献大部分预测能力，但基线仍带来增量。跨生产系统的跳过指标没有进入表1，因为双方标签定义不同，原文明确避免不可比比较。

在线A/B持续14天，使用标准实验流量分配，主要愉悦度提升2.67%，护栏指标中性。作者没有公开流量比例、指标精确定义或置信区间。冷启动新视频切片超过2%的收益说明其没有只依赖成熟内容的历史反馈，但仍不是对所有新物品平台的普适证明。

5. 局限与未来方向

作者在方法部分明确说明，编码器仍看到完整x，也看到混杂特征xb，因此潜变量原则上仍能编码这些因素。结构与损失鼓励残差化，不能保证潜变量已经实现因果可识别的真实偏好。作者同时引用解耦表征需要结构假设的论点，承认语义标签依靠预设路由与有方向的监督，而不是高斯先验自然生成。

论文没有独立的局限章节，结论也没有列出跨平台限制，不能冒称作者承认了某项没有写出的结论。作为本解读的额外评估，生产数据、完整标签规则和训练细节未公开，会限制外部复现；模型语义约束需要平台实际拥有显式负反馈或满意度类信号。没有这些锚点时，zs是否稳定需要重新验证。

后续可以检查受限基线是否过弱或过强，进行停止梯度、路由约束和标签缺失处理的真正重训练消融。还应比较不同内容长度与新旧内容切片，避免总体分数掩盖模型重新分配收益的事实。这些是实践建议，不是论文已经报告的额外实验。

6. 工业实践意义

社区UGC搜索可以借鉴“测量层在前、偏好优化在后”的组织方式。一次点击可能来自标题吸引、位置曝光或作者熟悉度，不能直接等同搜索结果相关。可以先用内容长度、展示环境、用户点击倾向等因素建立受限基线，再用点击后停留、收藏、负反馈和满意度等异构信号共同解释曝光级残差。搜索query和用户内容匹配应保留给偏好路径，避免基线吞掉真正相关性。

上线顺序建议是先在离线构建共享多任务基线与测量层对照，明确任务缺失掩码和语义路由，再做分长度、用户活跃度及内容新旧的切片诊断。线上同时观察nDCG、CTR及明确的满意度护栏，防止更高CTR带来更差的内容消费体验。潜变量只作为精排特征试点，也能降低对整条链路的改动范围。

部署成本主要来自新增MLP编码、基线及任务解码训练，服务路径可以只保留必要的潜变量评分；但原文没有延迟与资源数字，不能承诺无成本替换。最应该保留的思想是限制谁负责解释混杂因素，并在训练图中落实这一限制。只把多个任务头改名为消费、互动、满意度，却取消停止梯度和标签锚定，无法复现论文真正的设计。