1. 问题与动机
知识蒸馏（KD）已广泛用于提升延迟敏感的在线服务模型质量，但在低流量推荐系统中应用 KD 面临独特挑战。YouTube Music 的训练数据量仅为 YouTube 视频推荐平台的 1/100，这直接限制了教师模型的规模——为小流量应用单独训练大规模专用教师模型的成本难以证明其合理性。
跨域 KD 利用数据丰富的源域（YouTube 视频）的教师模型是一种经济高效的替代方案，但引入了三个关键技术困难：（1）特征集不匹配——Music 排序模型与 Video 教师模型独立演化，高达 40% 的教师模型输入特征在 Music 应用中不可用或未提取，缺失特征回退为默认值；（2）任务与标签分布偏差——Video 教师的预测目标与 Music 场景不完全对齐，例如 YouTube Music 主页以「货架」形式分组展示，而 YouTube 是单个视频流，两者 CTR 分布差异约 2%；（3）用户行为模式差异——音乐消费涉及更频繁的重复收听、更少的探索和更长的会话，底层数据分布与视频场景显著不同。
本文发表于 RecSys '25（2025年9月，布拉格），是 Google/YouTube 团队的工业实践论文。
2. 方法详解
整体架构
采用离线教师标签增强流水线（offline teacher label augmentation pipeline）：教师模型在 Music 数据集上推理生成预测标签，Music 排序模型训练时使用这些增强的教师预测标签。这种方式在计算开销（GPU 训练时长）和工程维护方面具有显著优势。
Video 教师模型
教师模型是 YouTube 上的大规模深度多任务排序模型，用于跨多个 surface 的内容发现统一排序。架构采用共享底层（Shared Layers）处理拼接的多源输入特征，提取跨任务相关的联合表示，上层分出独立的任务塔（Task Towers）用于不同 surface 的预测。教师模型的核心功能是生成「soft labels」高效训练更紧凑的学生模型。
Homepage 学生模型
Homepage 模型预测 CTR 和 trail engagement（条件化于点击的用户收听时长）。采用零样本辅助标签蒸馏：为 CTR 和 trail engagement 两个任务的塔增加额外的 logits 头来预测教师标签。关键设计选择：蒸馏单独的 logits 而非共享 logits，用以缓解跨域标签偏差；蒸馏任务的损失权重与其他损失保持一致。第三个主任务 music discovery 因教师模型中无直接对应任务而未进行蒸馏。模型规模比 YouTube 视频教师模型小 150 倍。
Radio 学生模型
Radio 排序器负责音乐视频排序，与视频教师模型无共同任务。创新性地蒸馏了一个非服务任务（non-serving task）——教师模型的「Continue Watching」soft label，表示当前视频是否会导致后续视频观看。这个任务被添加为新的预测头，仅用于训练，不直接用于线上服务。此策略使 Radio 模型完全脱离对源域视频数据的依赖，仅在 Music Radio 数据上训练。模型规模比教师模型小 300 倍。
训练设置
控制模型与学生模型共享相同架构（层数、参数量）、相同训练时间段和训练步数，唯一区别是学生模型增加了辅助 KD 任务头和对应损失。
3. 核心技术贡献
- 零样本跨域蒸馏的可行性验证：首次系统证明即使教师模型在目标域准确率低于基线（CTR AUC 75.40 vs 控制模型 79.34），通过蒸馏仍能提升学生模型（79.55），因为蒸馏改善了共享层的特征表示质量。
- 跨任务性能迁移效应：蒸馏部分任务能提升模型在未蒸馏任务上的表现。Homepage 的 Discovery 任务 AUC 从 76.06 提升至 76.22，Radio 的 Engagement AUC 从 90.30 提升至 91.38——这是因为跨域蒸馏改善了底层共享表示，使所有任务受益。
- 非服务任务蒸馏策略：Radio 模型通过蒸馏一个不直接参与排序的辅助任务（Continue Watching），在无任何共同任务的情况下实现了有效的知识迁移，成功解耦了对源域数据的依赖。
- 新内容泛化增强：线上实验中新发布内容的参与度指标提升尤为显著（Homepage +11.39%），因为 YouTube 上新发布内容出现频率更高，教师模型对这些内容有更好的表示，蒸馏将这种泛化能力传递给了学生模型。
4. 实验结果分析
离线实验
| 模型 | Homepage CTR (AUC) | Homepage Trail Engagement (R²) |
|---|---|---|
| 控制模型 | 79.34 | 0.312 |
| 教师模型 | 75.40 | 0.267 |
| 跨域蒸馏学生 | 79.55 | 0.320 |
教师模型在目标域离线指标低于控制模型（CTR AUC 75.40 vs 79.34），但蒸馏后学生模型超越了控制模型。这个看似矛盾的结果验证了蒸馏的价值在于表示学习而非标签模仿。
未蒸馏任务指标：
| 任务 | 控制模型 AUC | 跨域蒸馏 AUC |
|---|---|---|
| Homepage Discovery | 76.06 | 76.22 |
| Radio Engagement | 90.30 | 91.38 |
线上 A/B 实验（两周，p<0.05）
| Surface | 参与度指标 | 发现指标 | 新发布内容参与度 |
|---|---|---|---|
| Homepage | +0.58% | +1.12% | +11.39% |
| Radio | +0.70% | +2.13% | +0.96% |
线上效果显著优于离线提升，这是推荐系统中的常见现象——AUC 等离线指标无法完全捕捉用户满意度和新内容发现等真实用户行为变化。新发布内容参与度的巨大提升（+11.39%）表明跨域 KD 的核心价值在于提升模型对新内容的泛化能力。
5. 局限与未来方向
作者明确提出以下未来工作方向：（1）将零样本 CDKD 方法推广到 YouTube Music 的更多模型和 surface；（2）更全面地分析教师预测中的特权信息（privileged information），例如通过随机噪声消融实验；（3）随着学生模型特征集更完整、模型本身扩展，进一步挖掘 CDKD 的潜力。
隐含局限：论文仅涉及 Google 内部平台间的迁移（YouTube → YouTube Music），两者共享部分用户群和基础设施，跨公司或完全异构域的适用性未验证。
6. 工业实践意义
直接可借鉴的架构设计：对于拥有多个产品线的公司（如主站搜索 → 垂直搜索），可以利用主站大模型作为教师，通过离线标签增强管线为小业务生成蒸馏训练数据，显著降低小业务独立训练大模型的成本。
非服务任务蒸馏的策略尤为巧妙：即使源域和目标域任务完全不同，也可以构造一个辅助蒸馏任务作为知识桥梁。这对搜索排序场景的启示是，即使排序目标不同，也可以通过蒸馏「相关但非直接使用」的信号来改善共享表示。
部署优势：（1）计算开销低——仅需教师模型对目标域数据做一次离线推理；（2）工程维护简单——不依赖源域实时数据；（3）不增加在线服务延迟——蒸馏知识已融入学生模型参数中。
对新内容的显著提升（+11.39%）对于内容平台尤为重要——新内容冷启动是UGC社区搜索推荐的核心痛点，跨域 KD 提供了一种无需额外数据收集即可改善新内容排序的方案。