Understanding DNNs in Feature Interaction Models: A Dimensional Collapse Perspective
为「DNN 在 CTR/特征交互模型里到底起什么作用」这一长期争论提供新解释:作者通过对 parallel-DNN(如 DCN-V2)和 stacked-DNN(如 DeepFM)做整体与组件级消融,结合梯度理论分析,证明 DNN 的真正贡献并非隐式学高阶交叉,而是缓解 embedding 表征的「维度坍缩」(dimensional collapse),从而提升表示鲁棒性。论文给出 DNN 不同分支/组件对维度坍缩的影响机制,并用经验现象佐证理论推导。
INSIGHT这篇论文颠覆了「加 DNN = 学高阶交互」的常见认知:CTR 模型里 DNN 的真实价值在于稳住 embedding 的有效维度。对工业排序的直接启示——评估 DNN 分支时不要只看 AUC 增量,要监控 embedding 的奇异值分布;遇到表征坍缩(少量稀疏特征主导)时,加 parallel DNN 比堆叠 DNN 更有效。也为「最近大家观察到 DCN-V2 比 DeepFM 更稳」提供了理论解释,对调参与架构选型很有指导意义。