1. 问题与动机
多场景推荐是工业推荐系统的常见需求——同一平台需同时服务多个业务场景(如主搜、发现页、广告位),为每个场景维护独立模型成本高昂。现有统一模型方案分两类:(1)显式参数方案(PLE、STAR)为每个场景维护独立参数模块,参数开销大;(2)参数生成方案(APG)通过辅助网络动态生成参数,但存在两个核心缺陷:APG 仅用输出门控(output gating)对参数空间影响有限,且在缩小低秩矩阵尺寸时性能急剧下降(sharp performance decrease),同时生成参数的跨场景分布多样性不足。作者指出关键挑战在于:如何在低参数成本下实现有效的跨场景性能提升,以及如何鲁棒建模多场景多样性。
2. 方法详解
骨干网络:L 层全连接网络,输入拼接场景无关 embedding(e_i^ag)和场景感知 embedding(e_i^aw)。核心公式为 ỹ_i = {F_{S_i^l ⊙ W^l}(h^l)},其中 S_i^l 是动态生成的加权矩阵,⊙ 为逐元素乘,W^l 为骨干参数矩阵。
可分解加权矩阵(DWM)模块:提出四种分解变体。(1)Non-decomposable:直接通过辅助网络生成完整加权矩阵 S_i^l = σ(G(e_i^aw, h^l));(2)RC 变体:分解为行特有矩阵 S_R^l 和列特有矩阵 S_C^l 的乘积,通过 repeat 函数扩展到目标维度;(3)R 变体(最优):行特有 + 列共享,共享列矩阵 C_share^l 促进跨场景泛化;(4)C 变体:行共享 + 列特有。关键创新在于分解加权矩阵而非直接分解骨干参数——这避免了 APG 在小低秩尺寸下的性能坍塌。
互信息正则化(MIR)模块:最大化场景感知输入与加权矩阵之间的互信息。损失公式为 L_mi = -1/n Σ[log T_+ + log(1-T_-)],其中 T_+ 衡量加权矩阵与对应场景的相关性,T_- 通过随机打乱场景特征衡量与非对应场景的无关性。判别器 T 为轻量级神经网络,基于 F-GAN 框架估计散度。
总损失:L_CVR = -1/n Σ[y_i log ỹ_i] + λ L_mi,二元交叉熵 + 互信息正则化(λ=1)。训练使用 Adam 优化器(lr=0.001),batch size 512,3 层 DNN backbone(维度 128-64-32),每实验 10 次重复取平均。
3. 核心技术贡献
1) 加权矩阵分解 vs 参数分解:MI-DPG 对加权矩阵(而非骨干参数本身)进行低秩分解,使场景特化作用于参数调制层面而非参数本身。实验证明这种设计在低秩矩阵尺寸缩小到 1/4 时仍能保持稳定性能,而 APG 在相同条件下性能急剧下降。
2) 灵活的共享-特有分解策略:R 变体(行特有、列共享)表现最优,说明行方向的场景特有低秩矩阵捕捉场景差异,列方向的共享矩阵提供跨场景泛化能力——这为多场景架构设计提供了明确的分解方向指导。
3) 互信息驱动的参数多样性:MIR 显式优化场景-参数对应关系。t-SNE 可视化显示,无 MIR 时不同场景的加权矩阵分布重叠严重,加入 MIR 后同场景分布聚拢、异场景分布分离。场景相似度矩阵进一步证明学到的参数关系与语义类目相似度对齐。
4. 实验结果分析
三数据集一致性提升:
Amazon 数据集(10 品类,1.29M 样本):MI-DPG AUC 0.6745(vs APG 0.6697, +0.72%);IAAC 数据集(电商搜索广告,478K 样本):MI-DPG AUC 0.6504(vs APG 0.6457, +0.73%);Advertising 工业数据集(蚂蚁集团广告,108.6M 样本,3 场景):MI-DPG AUC 0.7580(vs APG 0.7488, +1.23%)。所有结果通过 paired t-test 验证显著性(p ≤ 0.05)。
消融分析:(1)DWM 模块——四种分解变体均优于非分解基线,R 变体(行特有列共享)整体最优,C 变体次之,验证了低秩分解的有效性和共享策略的重要性;(2)低秩尺寸敏感性——网格搜索 d_k ∈ {1,2,4}, d_r ∈ {d_m/8, ..., d_m}, d_c ∈ {d_n/8, ..., d_n},MI-DPG 在各尺寸下性能稳定,APG 则随尺寸缩小性能急剧下降;(3)MIR 模块——对比 DPG(无 MIR)和 MI-DPG,MIR 在所有数据集上均带来额外提升(Amazon +0.43%, IAAC +0.39%, Advertising +0.62%),t-SNE 和相似度矩阵直观展示了参数多样性的改善。
5. 局限与未来方向
论文未明确声明局限,但存在以下隐含问题:(1)MIR 模块引入额外判别器网络,增加训练计算开销;(2)超参数 λ 仅测试了 λ=1 一个值,缺乏敏感性分析;(3)最大工业数据集来自蚂蚁集团内部,可复现性受限;(4)缺乏对为何加权矩阵分解优于参数分解的理论分析。另外,论文未报告任何线上 A/B 实验结果,仅有离线评估。
6. 工业实践意义
多场景统一架构设计:对于运营多个搜索/推荐场景的平台,MI-DPG 提供了一个参数效率高的统一方案——共享骨干网络 + 场景条件化加权矩阵生成。R 变体的设计原则可直接借鉴:行方向做场景特有参数(捕捉差异),列方向做共享参数(促进泛化)。
与 APG 的对比选择:如果团队已使用 APG 类方案且面临低秩尺寸受限(因推理延迟/内存约束),MI-DPG 的加权矩阵分解策略可在更小的低秩尺寸下保持性能,是直接的升级路径。
互信息正则化的通用性:MIR 的设计思路可推广到任何需要保持多组参数差异性的场景,如多任务学习中不同任务 tower 的参数分化、多市场推荐模型中不同地域的特化等。实现简单(额外一个轻量判别器 + 打乱对比损失),可作为即插即用模块。
部署考量:3 层 DNN + 低秩分解的设计推理成本可控。但工业落地需关注:(1)场景数量扩展时 DWM 模块的参数增长是否可控;(2)互信息正则化在大规模分布式训练中的稳定性;(3)冷启新场景时共享矩阵的迁移效果。