目录 · 1 节
1从二次神经网络视角重新审视CTR预测中的特征交互揭示了 mid-activation 比传统 post-activation 更适合 QNN 的关键发现，为 CTR 模型的特征交互设计提供了新理论基础。Multi-Head Khatri-Rao Product 是 Hadamard Product 的严格上位替代，可直接应用于现有 CTR 模型（如 DCNv2、xDeepFM）中提升效果。该方法在 6 个数据集上的全面验证和低延迟特性使其具备很强的工业部署可行性。
从二次神经网络视角重新审视CTR预测中的特征交互
论文信息: KDD 2025 | Huawei Noah's Ark Lab | arXiv:2505.17999
作者: Honghao Li, Yiwen Zhang, Yi Zhang, Lei Sang, Jieming Zhu
1. 问题与动机
CTR预测的核心挑战在于如何高效建模稀疏高维特征之间的交互关系。过去十年提出了大量基于Hadamard积(HP)的特征交互模型（DeepFM、DCNv2、FINAL、MaskNet等），但一个根本性问题长期未解：HP为什么有效？缺乏统一理论框架来理解和比较各类设计，导致创新更多依赖经验试错。本文从二次神经网络(QNN)框架出发，为CTR特征交互设计提供统一理论视角。
2. 方法概述
两阶段展开：(1)理论分析——将现有主流CTR特征交互层统一抽象为QNN神经元格式，系统枚举25种变体(T1-T25)并在Criteo数据集上评估；(2)架构设计——基于理论结论设计QNN-α模型，整合T19最优神经元格式、多头Khatri-Rao积(MH-KRP)和自集成损失(SE Loss)。
3. 核心技术贡献
- 25种QNN神经元格式系统分析：关键发现——64%的QNN变体去掉外层激活函数后AUC反而提升（post-activation有害）；mid-activation显著优于无激活和后激活。T19格式(X⊙ReLU(W_aX)+X)为最优变体
- 多头Khatri-Rao积(MH-KRP)：将输入划分为H个子空间独立计算，复杂度从O(MD²)降至O(MD²/H)，KRP是HP的数学泛化
- 自集成损失(SE Loss)：利用Dropout随机性进行两次前向传播，构造一致性约束实现集成正则化，无额外子网络开销
- 统一理论解释HP有效性：证明HP操作对应QNN二次项展开，在不依赖激活函数的情况下扩展特征空间(从D维到O(D²))并隐式提供平滑非线性近似
4. 实验结果分析
在6个公开数据集上全部SOTA：Criteo AUC 81.62%(vs ECN 81.52%, +0.10%)，Tenrec AUC 82.45%，ML-1M AUC 95.47%。所有结果通过双尾t检验(p<1e-3)。推理延迟2.5-3.2ms/100样本，低于部分已部署生产模型。深度超过3层后性能饱和。
消融实验：T19(mid-activation) AUC 81.56% vs T9(ECN类,无mid-activation) 81.53% vs MLP无激活基线 79.32%。
5. 局限与未来方向
- 深度饱和：超3层后提升趋于饱和
- KRP vs HP的理论边界尚不明确
- SE Loss超参数需场景调优
- 对超高特征域数量(数百个)的表现未深入讨论
- 未来方向：与对比学习/知识蒸馏融合、多任务CTR扩展、序列特征整合
6. 工业实践意义
- 理论指导替代试错：QNN框架为特征交互设计提供系统分析工具
- 低成本升级路径：将核心交互层替换为T19格式+SE Loss辅助训练
- 关键工程启示：在包含HP的特征交互模块后不应再套用ReLU/GELU等激活函数——这与许多团队默认做法相悖，值得立即线上验证
- 稀疏数据正则化：SE Loss为长尾物品/用户提供轻量级过拟合缓解
- 代码开源：https://github.com/salmon1802/QNN