Learning nonlinear interactions and cross-feature couplings with product-unit residual networks
表格模型要预测由多个因素交叉决定的结果时,普通多层感知机往往把交叉关系埋在隐层里,误差不一定差,但很难判断它是不是抓住了真正起作用的组合。推荐里常用的 FM 和交叉网络也是在显式做特征相乘,这篇把乘积运算写进残差块,并用复数权重同时表示幅度和相位,让优化更稳。在经典的 Friedman 函数上,均方根误差比普通多层感知机低 53.9%。交互图里有 60.7% 的强度集中在那个已知的成对关系上,普通网络只有 31.0%。预测变准,是因为模型把力气花在了真正的交叉上。这些对比做在科学回归基准上,对做点击率或转化这类也靠特征交叉的模型来说,显式乘法和残差提供了一种可检查的结构,而不是只让隐层自己去学组合。