Revisiting Feature Interactions from the Perspective of Quadratic Neural Networks for Click-through Rate Prediction
从二次神经网络 (QNN) 视角重新审视 CTR 预估中的 Hadamard Product 特征交互机制,揭示了 QNN 在扩展特征空间和提供平滑非线性近似方面的能力。通过理论分析和 25 种 QNN 神经元格式的实证评估,提出了 Multi-Head Khatri-Rao Product 替代 Hadamard Product,以及 Self-Ensemble Loss 增强计算效率。最终提出的 QNN-alpha 在 6 个公开数据集上达到新 SOTA,同时保持低推理延迟和良好可扩展性。KDD 2025 接收。
INSIGHT揭示了 mid-activation 比传统 post-activation 更适合 QNN 的关键发现,为 CTR 模型的特征交互设计提供了新理论基础。Multi-Head Khatri-Rao Product 是 Hadamard Product 的严格上位替代,可直接应用于现有 CTR 模型(如 DCNv2、xDeepFM)中提升效果。该方法在 6 个数据集上的全面验证和低延迟特性使其具备很强的工业部署可行性。