From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction
论文诊断了 CTR 深度模型「堆规模收益迅速衰减」的根因:标准 Transformer 假设序列组合性,而 CTR 数据需要的是异构 field 间的组合推理,两者存在结构性错配。作者提出 Field-Aware Transformer (FAT),用 field-centric 参数重构标准 Transformer block 实现「结构化表达力」,把模型复杂度依赖从总词表规模 n 转移到 field 数 F(n 远大于 F)。并用 Basis-Composed Hypernetwork 从共享基底合成 field 专属参数,使模型容量与 field 基数解耦。
INSIGHT对「为什么 CTR 模型没有 LLM 那样的 scaling law」给出了结构性而非数据量的解释,值得搜索/推荐排序团队反思:盲目加宽加深排序模型收益有限,问题出在 attention 的序列组合假设与表格化 field 数据不匹配。FAT 的 field-aware 重构 + hypernetwork 合成参数思路,可借鉴到短文本搜索排序中对 query/doc/上下文多 field 的建模,用更少参数换取更强的特征交叉表达。