LoopFM: Learning frOm HistOrical RePresentations of Foundation Model for Recommendation
传统知识蒸馏只把基础模型(FM)的单个标量预测传给垂直模型(VM),随 FM 增大「迁移率」递减——单标量无法承载丰富的中间知识。LoopFM 把 FM 的中间层 embedding 结构化为 VM 的输入特征(如用户历史序列),开辟高带宽迁移通道,且 serving 时无需实时 FM 推理、不耦合两者架构。论文给出增益分解与迁移率理论分析,在三个公开数据集上 AUC 提升 6%+(TaobaoAd),工业级(十亿样本、万亿参数 FM)上把迁移率在 KD 基础上约翻倍。
INSIGHT关键洞察是「迁移什么」比「怎么蒸馏」更重要:用 FM 中间表示作为下游特征,比单标量蒸馏带宽高得多,且与 KD 互补、可叠加。工程上最大价值是解耦——离线缓存 FM 表示,在线 VM 不需实时跑 FM,规避了大模型 serving 延迟。对搜推团队:在已有 KD 管线上叠加「表示注入」即可再拿一部分 FM 收益,万亿参数 FM 场景迁移率翻倍证明其规模化可行。