1. 问题与动机
大推荐模型在 scaling law 下能拿到明显收益，但工业系统的在线 serving 有严格延迟与成本约束，无法直接上线 24B+ 参数的超大模型——论文指出模型复杂度上升会"显著抬高推理开销、拖垮系统响应"，由此形成"离线可扩参、在线难部署"的根本鸿沟。更关键的是，传统知识蒸馏(KD)与推荐系统的训练范式不兼容：要么需要静态教师推理（与流式数据更新矛盾），要么需要 co-training（每个学生 step 都跑一次教师，推理成本不可承受）。Rec-Distill 要解决的就是：如何把大教师在 scaling 下获得的收益，稳定、高效地迁移到满足延迟约束的在线小学生模型上，并适配推荐数据持续流式更新的特点。本文是工业推荐场景中首个成功蒸馏「24B dense 参数 + 20K 行为序列长度」教师的工作。
2. 方法详解
整体框架基于一个增益分解：ΔGain_distill = ΔGain_scale × η，其中 ΔGain_scale 是教师相对学生的性能增益(P_T − P_S)，η 是蒸馏迁移率（学生吸收教师优势的比例）。框架分别从两端做优化。
教师侧（最大化 ΔGain_scale） 沿三个维度扩展：(1) dense 参数用 TokenMixer-Large 架构扩到 24B；(2) 序列建模用 LONGER 架构（序列压缩 + 混合注意力）扩到 20K token；(3) 训练数据按 Chinchilla 规律提高采样比例。
学生侧（最大化 η） 用 Decoupled-Tower（解耦双塔）架构：共享特征 backbone，分出 Main Task Tower（只用真值标签的 task loss 训练，负责在线打分，与蒸馏隔离）和 Auxiliary Tower（用 L_task + α·L_distill 接收教师监督）。这样即便教师更新延迟、蒸馏管线滞后或教师信号短暂不稳，主塔的在线服务都不受影响。
蒸馏损失用黑盒方式，仅用教师最终输出 logit（不依赖白盒中间特征）。论文论证用交叉熵优于 MSE——CE 梯度 ∂L/∂θ=(p_S−p_T)·∂z_S/∂θ，避免概率趋近 0/1 时的梯度消失。损失 L_S = L_task + α·L_distill 中，作者刻意放弃"权重和为 1"的惯例：二分类下 L_distill 的尺度可能比 L_task 小两个数量级，必须经验性调 α 把两者量级对齐。
去偏机制针对教师与学生采用不同采样策略(f_T≠f_S)造成的分布失配：先把教师原始 logit 经学生侧去偏校正投影到学生输出同一空间 T_2'=f_S(T_1)，再让蒸馏匹配 T_2' 与 S_2，而非直接匹配。
混合 batch-streaming 流水线：batch 阶段用大 batch 快速收敛、教师把 logit 写入中间存储；streaming 阶段教师把新 logit 写入低延迟高速存储，与原始数据流 join 后供学生消费，缓解多学生查询造成的读放大，并把信号落 HDFS 以保证可复现。
3. 核心技术贡献
(1) 工业级超大教师蒸馏范式：首次在推荐工业场景成功蒸馏 24B 参数、20K 序列的教师，把模型规模与推理成本解耦，验证了 scaling law 在推荐蒸馏中成立。(2) 高迁移率的系统化学生设计：解耦双塔 + 黑盒蒸馏 + 采样去偏 + 统一流水线，峰值迁移率超 60%。其中解耦双塔是机制核心——消融显示单塔仅用 L_distill 只有 +0.03% 增益（近乎为零），而解耦设计达 +0.44%。(3) 跨场景普适性：在电商广告(CVR)、多场景推荐、直播多目标排序三类业务上稳定有效，并已生产部署。
4. 实验结果分析
数据集为抖音/TikTok 三个真实场景：电商广告(~2 亿样本/天、1000+ 特征)、多场景推荐(~70 亿样本/天)、直播。核心结果（Table 1）：电商广告教师 +0.69% AUC、学生 +0.44%、迁移率 64%（参数比 1:7）；多场景推荐迁移率 45%（1:34）；直播 50%（1:5）。容量差消融（Table 3）：7B→1B 迁移率 73%，24B→1B 仍达 65%，说明大容量差下知识迁移依然稳健。学生容量(Table 2)：1B 学生 73%、376M 降到 65%、184M 降到 48%——越小迁移率越低但始终有正收益。Teacher scaling 消融(Table 6)：dense 扩参(1B→7B)迁移 73%、序列扩展(5K→20K)迁移 61%，两维度增益独立可叠加。数据扩展(Table 7)：带 data scaling 学生 +0.44% vs 不带 +0.28%。去偏(Table 9)贡献 +0.10%。流式消融(Table 8)：不做 streaming 蒸馏五天后只保留一半初始增益（+0.05% vs +0.10%），证明分布漂移的危害。在线 A/B：电商广告 GMV +0.62%、订单 +0.68%；多场景推荐 Finish/U +1.27%、Play/U +0.47%；直播打赏收入/U +0.78%。覆盖抖音/TikTok 数亿 DAU。
5. 局限与未来方向
作者明确指出：迁移率在不同场景间波动较大(45%–64%)，说明仍有场景特定优化空间；大容量差(24B:1B)会把迁移率从 73% 拉低到 65%；教师-学生分布失配即便有去偏仍是挑战。未来方向：扩展到多模态推荐任务；在高度非平稳环境中进一步提升迁移率。一个文中未充分展开的隐患是：黑盒蒸馏只用最终 logit，理论上比白盒中间特征蒸馏的信息带宽低（这正是后面 LoopFM 想解决的问题）。
6. 工业实践意义
对搜推团队最直接的启示：scaling 的收益不必、也不应直接上线，可走"离线训大教师→在线蒸馏小学生"的路线，>60% 迁移率说明这条路在广告/推荐/直播多场景可复用。可落地的具体设计：(1) 用解耦双塔把蒸馏与在线主塔隔离，规避教师不稳定/延迟对线上的冲击，这是工程鲁棒性的关键；(2) 蒸馏 loss 用 CE 且要按量级经验调 α，否则 L_distill 被淹没；(3) 必须做 streaming 蒸馏，否则分布漂移会在几天内吃掉一半收益；(4) 教师/学生采样策略不同要做去偏投影。部署上，本方法把模型规模与 serving 成本解耦，1B 学生吃下 7B 教师 64% 的收益、1:34 压缩比下仍有 45%，显著改善 serving ROI——这对延迟敏感、QPS 巨大的社区搜索/推荐排序系统尤其有价值。