Teacher Retains Full Tokens, Student Merges Efficiently: TM20K for E-Commerce Sequence Modeling in Ad Recommendation
TM20K 面向电商广告中的超长用户行为序列,用全注意力教师和学生模型配合两阶段知识蒸馏,再通过 token merge 压缩学生序列。该方法把线上序列长度扩展到 20K,已部署于字节跳动电商广告推荐系统,ADSS 提升 1.036%,服务延迟仅增加 5.6%,训练和服务成本接近原有 SOTA。
INSIGHT不要在教师阶段过早丢弃细粒度行为:先让教师完整读取 20K 序列,再把长序列知识蒸馏给可合并 token 的学生模型。对 UGC 推荐或个性化搜索,可以把长期兴趣压缩放在蒸馏阶段,并以线上延迟和行为覆盖共同约束,而不是只优化离线召回。