EKTM: Effective Knowledge Transfer for Multi-Task Recommendation Models
EKTM 针对 CVR 预估在多任务排序框架中的数据稀疏问题,提出有效跨任务知识迁移方法。引入 router 模块按任务相关性分发共享表示,并通过 transmitter 模块做任务特定的特征变换后再融入目标任务,避免硬共享带来的负迁移。在线上 A/B 测试中带来 3.93% 的 eCPM 提升,已在某商业广告平台的两个主流量场景部署。
INSIGHTEKTM 揭示了多任务推荐里被忽视的细节:CVR 样本极少时,单纯共享底层 embedding 会让强势任务的梯度淹没弱势任务。router+transmitter 的双层路由相当于在 MMoE 之上加了一层任务特定的'整形',比直接共享专家更安全。对社区 UGC 平台多目标排序(点击、停留、互动、转化)有直接借鉴价值:先用 router 做知识分发,再用 transmitter 做任务自适应变换,是缓解长尾任务负迁移的实用 pattern。