← 全部深度解读
📖 深度解读 · PERSONALIZATION

EKTM: Effective Knowledge Transfer for Multi-Task Recommendation Models

Guohao Cai, Jun Yuan, Zhenhua Dong · Huawei · arXiv 2605.05730 · 发表 2026-05-07
8 分钟阅读时长 3190字 4.40综合分 第 2 名05-11 Personalization 日报
目录 · 6 节1问题与动机2方法详解3核心技术贡献4实验结果分析5局限与未来方向6工业实践意义
相关 5新颖 3实用 5证据 4时效 5
EKTM 揭示了多任务推荐里被忽视的细节:CVR 样本极少时,单纯共享底层 embedding 会让强势任务的梯度淹没弱势任务。router+transmitter 的双层路由相当于在 MMoE 之上加了一层任务特定的'整形',比直接共享专家更安全。对社区 UGC 平台多目标排序(点击、停留、互动、转化)有直接借鉴价值:先用 router 做知识分发,再用 transmitter 做任务自适应变换,是缓解长尾任务负迁移的实用 pattern。

1. 问题与动机

EKTM 直击工业推荐多任务学习 (MTL) 中 CVR 任务的"双重数据稀疏"问题:作者在 AliExpress 数据集量化了 CTR vs CVR 的不平衡——CTR 任务的正样本率 1.5-3.63%,而 CVR 仅 0.035-0.088%,相差约 50 倍。这一稀疏性使得 CVR 塔难以学到稳定表征,是工业广告/电商场景中转化预估长期未解的难题。

更关键的是作者指出现有 MTL 方法(MMoE、PLE、ESMM、STEM)的共同局限:它们做的知识共享主要在共享底层 (Shared-Bottom) 或专家层 (Expert),而越靠近输出层信息越丰富——"representations closer to the output layer contain richer information"。但直接共享靠近输出的高级表征又会带来三重风险:(a) 强势任务(CTR)的梯度淹没 CVR 任务;(b) 不同任务输出尺度差异巨大(CTR vs 时长预估),共享标量输出无意义;(c) 负迁移——任务相关性不足时硬共享反而损害目标任务。

EKTM 的目标是在共享高级表征的同时控制负迁移,让 CVR 任务能"挑选性地"利用其他任务的高级语义。

2. 方法详解

EKTM 在已有 MTL 框架(MMoE/PLE/STEM/Shared-Bottom)顶部插入两个新模块:

(1) Router 模块:负责"知识聚合"。对目标任务 i (CVR),先计算它与每个辅助任务 t 的归一化余弦相似度 ŝ_{i,t} = softmax_t(cos(f_cvr^i, f_cvr^t)),再做加权聚合 F_i = mean(f_ctr, ŝ_{i,1}·f_cvr^1, ..., ŝ_{i,T}·f_cvr^T)。直觉:相似度高的任务表征获得更高权重,避免"无差别共享"。f_ctr 永远以 mean 中无加权权重出现,是因为 CTR 是 CVR 的天然前置信号(ESMM 思路)。

(2) Transmitter 模块:负责"知识过滤"。聚合后的 F_i 需要再做任务自适应整形才能注入到 CVR 塔——直接相加会引入辅助任务的偏置。Transmitter 用多头交叉注意力 (MHCA):query/key 来自 F_i,value 来自当前任务的 CVR 主表征 f_ctr;输出经 LSTM-style 门控 g = σ(MHCA(F_i)^T w_f + b_f),再与 f_ctr 逐元素相乘。门控让模型自动决定每一维的迁移强度,避免硬注入。

(3) Calibration Loss:核心损失设计是关键防负迁移机制:

ℒ = ℒ_ctr + Σ_i [(1-α) ℒ_o^(i) + α · max(0, ℒ_t^(i) - ℒ_o^(i))]

其中 ℒ_o 是不用 EKTM 的原始 CVR 损失,ℒ_t 是经 EKTM 转换后的损失。max 算子保证:只有当 EKTM 转换降低 loss 时才参与训练;若升高 loss 则梯度为 0。这相当于一个"安全护栏",从理论上排除了 EKTM 比 baseline 更差的可能。α 是混合系数,超参搜索范围 [0.01, 0.1, 1.0]。

训练配置:batch=12,000,lr=1e-3,50 epochs;与已有 MTL 框架 (MMoE/PLE/STEM) 即插即用,不修改 backbone。

3. 核心技术贡献

(a) 靠近输出层的知识共享:以往 MMoE/PLE 在 expert 层共享专家,PLE 才显式区分共享/独立专家。EKTM 进一步把共享下沉到任务塔输出附近,能利用更高层语义。

(b) Router 用任务相似度做软聚合:相似度是数据驱动的(cosine sim),不需要手工指定任务关系图。比 PLE 的固定专家分配更灵活。

(c) Transmitter 用 cross-attention + 门控防过冲:多头注意力天然支持选择性融合;LSTM 门控提供二次过滤。两层选择性保证迁移精准。

(d) Calibration Loss 的 max 安全护栏:是工业落地最关键的设计——它把"迁移失败时不损害目标任务"做成数学约束,免除了 MTL 调参中的负迁移风险。

每个贡献都对应了与 prior work 的具体改进:相比 MMOE baseline 在 AliExpress US 数据上 CTR AUC 从 0.7092 提到 0.7139 (+0.66%),CTCVR 0.8717→0.8738 (+0.24%)。

4. 实验结果分析

公开数据集 (AliExpress):在 4 个国家 (US/NL/FR/ES) × 2 任务 (CTR/CTCVR) × 4 个 backbone (Shared-Bottom/MMoE/PLE/STEM) 共 32 个 setting 上,EKTM 几乎全部带来提升。MMOE+EKTM (US): CTR 0.7139 (vs MMOE 0.7092);PLE+EKTM (NL CTCVR): 0.8653 (vs PLE 0.8639)。

公开数据集 (KuaiVideo):3 个任务 (Follow/Like/Click),EKTM 在 Follow 任务 STEM baseline 上从 0.7803 提到 0.7910 (+1.37% AUC)——比 CTR 任务更大,因为 Follow 是稀疏任务,正是 EKTM 设计针对的场景。

消融研究:线性投影 baseline AUC 0.7017;加 Transmitter 0.7102 (+1.21%);加 Calibration loss 0.7139 (+0.53%)——两个模块都有独立贡献,且互补。

线上 A/B:在某商业平台两个主流量场景灰度发布,5%→20%→50%→100% 渐进放量,最终全量 eCPM +3.93%。

关键观察:(1) EKTM 在 STEM/PLE 等已经做了任务区分的 backbone 上仍能带来增益,说明它捕获了 prior MTL 未利用的信号;(2) 稀疏任务(CVR、Follow)的增益显著大于稠密任务,与设计目标一致;(3) 没有任何 setting 出现负向——印证 Calibration loss 的安全性设计。

5. 局限与未来方向

论文未明写局限。可推断:

(1) 任务相关性假设:Router 默认所有辅助任务都对目标任务有用,只调权重。若辅助任务与目标完全不相关(例如点击 vs 退订),软聚合可能引入噪声——calibration loss 能屏蔽损害但不能消除计算开销。

(2) 多头注意力延迟成本:每个任务 i 都要做一次 MHCA,对 T 个任务复杂度 O(T·d²)。论文未给出 serving 延迟数字,工业大规模部署需要量化。

(3) 超参敏感性:α ∈ [0.01, 0.1, 1.0] 的搜索粒度粗,不同场景可能需要重调;缺少 α 与任务稀疏度的关系分析。

(4) CVR 长链路问题:EKTM 把 CTR 作为前置信号(mean 中无加权),但工业场景下 CTR→CVR 链路还有曝光、加购等中间步骤,纯 CTR 信号未必最优。

6. 工业实践意义

EKTM 对社区/UGC 平台多目标排序的启示:

(a) 即插即用替换 MMoE/PLE 顶层:EKTM 不改 backbone,只在任务塔输出之前插入 Router+Transmitter。社区平台典型的多目标(点击、停留、点赞、收藏、转发、关注)排序如果当前用 MMoE/PLE,可以直接试 EKTM 而不需要重训 backbone。预期对长尾任务(关注、转发)提升更明显。

(b) Calibration loss 是低风险高 ROI 改造:max(0, ℒ_t - ℒ_o) 保证最坏情况不退步,是 MTL 模型迭代里少见的"零风险"改造。建议作为 MTL baseline 的标配引入。

(c) Router 的相似度计算可复用:cosine sim 计算的任务相似度矩阵本身就是宝贵的诊断信号——可以离线观察各任务间相似度变化,判断什么时候新增/废弃任务。

(d) 部署考虑:论文报告 batch=12,000、lr=1e-3、50 epochs 训完;线上灰度 5%→20%→50%→100% 渐进放量是稳妥范式;MHCA 计算成本需要在 GPU/CPU 集群上量化,必要时可降为单头注意力做 trade-off。

← 全部深度解读 出现于报告:2026-05-11 · Personalization #2 (4.40) 原文 ↗