MI-DPG: Decomposable Parameter Generation Network Based on Mutual Information for Multi-Scenario Recommendation
针对多场景推荐中模型参数成本高且场景多样性建模困难的问题，提出基于互信息的可分解参数生成网络 MI-DPG。核心思路是将加权矩阵分解为场景共享和场景特有的低秩矩阵组合，并通过互信息正则化增强跨场景参数多样性。在三个真实数据集上显著优于已有多场景推荐方法，论文发表于 CIKM 2023。
INSIGHT低秩分解 + 互信息正则化是一个优雅的多场景参数共享方案：共享矩阵捕捉跨场景通用模式，场景特有矩阵以极低参数成本建模差异性。对于运营多个搜索/推荐场景的平台（如主搜、发现页、相关推荐），可用该思路统一模型架构并通过场景条件生成差异化参数，避免为每个场景维护独立模型。
1. 问题与动机
多场景推荐是工业推荐系统的常见需求——同一平台需同时服务多个业务场景（如主搜、发现页、广告位），为每个场景维护独立模型成本高昂。现有统一模型方案分两类：（1）显式参数方案（PLE、STAR）为每个场景维护独立参数模块，参数开销大；（2）参数生成方案（APG）通过辅助网络动态生成参数，但存在两个核心缺陷：APG 仅用输出门控（output gating）对参数空间影响有限，且在缩小低秩矩阵尺寸时性能急剧下降（sharp performance decrease），同时生成参数的跨场景分布多样性不足。作者指出关键挑战在于：如何在低参数成本下实现有效的跨场景性能提升，以及如何鲁棒建模多场景多样性。
2. 方法详解
骨干网络：L 层全连接网络，输入拼接场景无关 embedding（e_i^ag）和场景感知 embedding（e_i^aw）。核心公式为 ỹ_i = {F_{S_i^l ⊙ W^l}(h^l)}，其中 S_i^l 是动态生成的加权矩阵，⊙ 为逐元素乘，W^l 为骨干参数矩阵。
可分解加权矩阵（DWM）模块：提出四种分解变体。（1）Non-decomposable：直接通过辅助网络生成完整加权矩阵 S_i^l = σ(G(e_i^aw, h^l))；（2）RC 变体：分解为行特有矩阵 S_R^l 和列特有矩阵 S_C^l 的乘积，通过 repeat 函数扩展到目标维度；（3）R 变体（最优）：行特有 + 列共享，共享列矩阵 C_share^l 促进跨场景泛化；（4）C 变体：行共享 + 列特有。关键创新在于分解加权矩阵而非直接分解骨干参数——这避免了 APG 在小低秩尺寸下的性能坍塌。
互信息正则化（MIR）模块：最大化场景感知输入与加权矩阵之间的互信息。损失公式为 L_mi = -1/n Σ[log T_+ + log(1-T_-)]，其中 T_+ 衡量加权矩阵与对应场景的相关性，T_- 通过随机打乱场景特征衡量与非对应场景的无关性。判别器 T 为轻量级神经网络，基于 F-GAN 框架估计散度。
总损失：L_CVR = -1/n Σ[y_i log ỹ_i] + λ L_mi，二元交叉熵 + 互信息正则化（λ=1）。训练使用 Adam 优化器（lr=0.001），batch size 512，3 层 DNN backbone（维度 128-64-32），每实验 10 次重复取平均。
3. 核心技术贡献
1) 加权矩阵分解 vs 参数分解：MI-DPG 对加权矩阵（而非骨干参数本身）进行低秩分解，使场景特化作用于参数调制层面而非参数本身。实验证明这种设计在低秩矩阵尺寸缩小到 1/4 时仍能保持稳定性能，而 APG 在相同条件下性能急剧下降。
2) 灵活的共享-特有分解策略：R 变体（行特有、列共享）表现最优，说明行方向的场景特有低秩矩阵捕捉场景差异，列方向的共享矩阵提供跨场景泛化能力——这为多场景架构设计提供了明确的分解方向指导。
3) 互信息驱动的参数多样性：MIR 显式优化场景-参数对应关系。t-SNE 可视化显示，无 MIR 时不同场景的加权矩阵分布重叠严重，加入 MIR 后同场景分布聚拢、异场景分布分离。场景相似度矩阵进一步证明学到的参数关系与语义类目相似度对齐。
4. 实验结果分析
三数据集一致性提升：
Amazon 数据集（10 品类，1.29M 样本）：MI-DPG AUC 0.6745（vs APG 0.6697, +0.72%）；IAAC 数据集（电商搜索广告，478K 样本）：MI-DPG AUC 0.6504（vs APG 0.6457, +0.73%）；Advertising 工业数据集（蚂蚁集团广告，108.6M 样本，3 场景）：MI-DPG AUC 0.7580（vs APG 0.7488, +1.23%）。所有结果通过 paired t-test 验证显著性（p ≤ 0.05）。
消融分析：（1）DWM 模块——四种分解变体均优于非分解基线，R 变体（行特有列共享）整体最优，C 变体次之，验证了低秩分解的有效性和共享策略的重要性；（2）低秩尺寸敏感性——网格搜索 d_k ∈ {1,2,4}, d_r ∈ {d_m/8, ..., d_m}, d_c ∈ {d_n/8, ..., d_n}，MI-DPG 在各尺寸下性能稳定，APG 则随尺寸缩小性能急剧下降；（3）MIR 模块——对比 DPG（无 MIR）和 MI-DPG，MIR 在所有数据集上均带来额外提升（Amazon +0.43%, IAAC +0.39%, Advertising +0.62%），t-SNE 和相似度矩阵直观展示了参数多样性的改善。
5. 局限与未来方向
论文未明确声明局限，但存在以下隐含问题：（1）MIR 模块引入额外判别器网络，增加训练计算开销；（2）超参数 λ 仅测试了 λ=1 一个值，缺乏敏感性分析；（3）最大工业数据集来自蚂蚁集团内部，可复现性受限；（4）缺乏对为何加权矩阵分解优于参数分解的理论分析。另外，论文未报告任何线上 A/B 实验结果，仅有离线评估。
6. 工业实践意义
多场景统一架构设计：对于运营多个搜索/推荐场景的平台，MI-DPG 提供了一个参数效率高的统一方案——共享骨干网络 + 场景条件化加权矩阵生成。R 变体的设计原则可直接借鉴：行方向做场景特有参数（捕捉差异），列方向做共享参数（促进泛化）。
与 APG 的对比选择：如果团队已使用 APG 类方案且面临低秩尺寸受限（因推理延迟/内存约束），MI-DPG 的加权矩阵分解策略可在更小的低秩尺寸下保持性能，是直接的升级路径。
互信息正则化的通用性：MIR 的设计思路可推广到任何需要保持多组参数差异性的场景，如多任务学习中不同任务 tower 的参数分化、多市场推荐模型中不同地域的特化等。实现简单（额外一个轻量判别器 + 打乱对比损失），可作为即插即用模块。
部署考量：3 层 DNN + 低秩分解的设计推理成本可控。但工业落地需关注：（1）场景数量扩展时 DWM 模块的参数增长是否可控；（2）互信息正则化在大规模分布式训练中的稳定性；（3）冷启新场景时共享矩阵的迁移效果。