从二次神经网络视角重新审视CTR预测中的特征交互

论文信息: KDD 2025 | Huawei Noah's Ark Lab | arXiv:2505.17999
作者: Honghao Li, Yiwen Zhang, Yi Zhang, Lei Sang, Jieming Zhu

1. 问题与动机

CTR预测的核心挑战在于如何高效建模稀疏高维特征之间的交互关系。过去十年提出了大量基于Hadamard积(HP)的特征交互模型（DeepFM、DCNv2、FINAL、MaskNet等），但一个根本性问题长期未解：HP为什么有效？缺乏统一理论框架来理解和比较各类设计，导致创新更多依赖经验试错。本文从二次神经网络(QNN)框架出发，为CTR特征交互设计提供统一理论视角。

2. 方法概述

两阶段展开：(1)理论分析——将现有主流CTR特征交互层统一抽象为QNN神经元格式，系统枚举25种变体(T1-T25)并在Criteo数据集上评估；(2)架构设计——基于理论结论设计QNN-α模型，整合T19最优神经元格式、多头Khatri-Rao积(MH-KRP)和自集成损失(SE Loss)。

3. 核心技术贡献

1. 25种QNN神经元格式系统分析：关键发现——64%的QNN变体去掉外层激活函数后AUC反而提升（post-activation有害）；mid-activation显著优于无激活和后激活。T19格式(X⊙ReLU(W_aX)+X)为最优变体
2. 多头Khatri-Rao积(MH-KRP)：将输入划分为H个子空间独立计算，复杂度从O(MD²)降至O(MD²/H)，KRP是HP的数学泛化
3. 自集成损失(SE Loss)：利用Dropout随机性进行两次前向传播，构造一致性约束实现集成正则化，无额外子网络开销
4. 统一理论解释HP有效性：证明HP操作对应QNN二次项展开，在不依赖激活函数的情况下扩展特征空间(从D维到O(D²))并隐式提供平滑非线性近似

4. 实验结果分析

在6个公开数据集上全部SOTA：Criteo AUC 81.62%(vs ECN 81.52%, +0.10%)，Tenrec AUC 82.45%，ML-1M AUC 95.47%。所有结果通过双尾t检验(p<1e-3)。推理延迟2.5-3.2ms/100样本，低于部分已部署生产模型。深度超过3层后性能饱和。

消融实验：T19(mid-activation) AUC 81.56% vs T9(ECN类,无mid-activation) 81.53% vs MLP无激活基线 79.32%。

5. 局限与未来方向

• 深度饱和：超3层后提升趋于饱和
• KRP vs HP的理论边界尚不明确
• SE Loss超参数需场景调优
• 对超高特征域数量(数百个)的表现未深入讨论
• 未来方向：与对比学习/知识蒸馏融合、多任务CTR扩展、序列特征整合

6. 工业实践意义

• 理论指导替代试错：QNN框架为特征交互设计提供系统分析工具
• 低成本升级路径：将核心交互层替换为T19格式+SE Loss辅助训练
• 关键工程启示：在包含HP的特征交互模块后不应再套用ReLU/GELU等激活函数——这与许多团队默认做法相悖，值得立即线上验证
• 稀疏数据正则化：SE Loss为长尾物品/用户提供轻量级过拟合缓解
• 代码开源：https://github.com/salmon1802/QNN

Feed m Birds with One Scone: Accelerating Multi-task Gradient Balancing via Bi-level Optimization

论文信息: arXiv:2603.07389 | 2026年3月8日 | Meta AI
作者: Xuxing Chen, Yun He, Jiayi Xu, Minhui Huang, Xiaoyi Liu, Boyang Liu, Fei Tian, Xiaohan Wei, Rong Jin, Bo Long, Xue Feng 等12人

1. 问题与动机

多任务学习（MTL）在工业推荐和广告排序系统中极为普遍——一个模型需同时优化点击率、转化率、质量评分等多个目标。核心难题是梯度冲突：不同任务的梯度方向可能相互抵消。现有梯度平衡方法（MGDA、CAGrad、SDMGrad等）存在O(md)的计算复杂度瓶颈，对拥有数十亿参数的大型模型不可行。FAMO虽将复杂度降至O(d)，但缺乏充分理论支撑且与Adam等自适应优化器存在兼容性问题。

2. 方法概述

提出 MARIGOLD 框架，将梯度平衡重新定义为双层优化问题：下层以当前任务权重λ训练模型参数θ，上层优化λ使最坏情况下的损失减量最大化（min-max问题）。关键创新在于用零阶方法估计超梯度——对λ施加随机扰动，用函数值之差近似梯度方向，将复杂度压缩至O(d)。

3. 核心技术贡献

1. 无线性化的梯度平衡重构：直接在真实损失上定义上层目标，绕开线性化近似，支持任意优化器（Adam、AdaGrad等）
2. 高效零阶超梯度估计：单点零阶估计每次迭代仅需一次额外前向传播，复杂度O(d)
3. 与任意优化器兼容：下层训练可对接任何现成优化器，与工业系统无缝集成
4. 通用双层框架：可扩展到辅助学习等场景，仅需替换上层目标函数

4. 实验结果分析

公开数据集（NYU-v2）：分割mIoU 41.01（FAMO 38.60，+2.41），平均排名3.56（FAMO 5.44）。计算时间152秒/epoch（FAMO 182秒，MGDA 375秒），比FAMO快17%，比MGDA快60%。

Cityscapes：分割mIoU 75.30（FAMO 74.76），平均排名4.50（FAMO 7.75）。

Meta工业实验：在广告排序系统上，点击预测NE +0.08%，转化|点击NE +0.03%，绝对转化NE +0.07%，蒸馏NE +0.14%。所有四个任务均正向收益，无负迁移。

5. 局限与未来方向

• 缺乏收敛率理论分析
• 温度系数β需调参（建议{0.03, 0.1, 0.3}）
• 单点零阶估计在高维空间方差较大
• 任务数量极多时的可扩展性未系统研究

6. 工业实践意义

• 计算成本可接受：O(d)复杂度仅需一次额外前向传播，对日训万亿样本的系统可行
• 与Adam无缝兼容：少数明确支持任意优化器的梯度平衡方法
• Pareto改善有实证：Meta内部所有任务均正向，最坏情况设计天然对抗负迁移
• 落地建议：可作为固定权重多任务系统的即插即用升级，替换现有梯度平衡方案

深度阅读分析：PSAD — 基于半自回归生成与在线知识蒸馏的高效个性化重排序

论文: Efficient Personalized Reranking with Semi-Autoregressive Generation and Online Knowledge Distillation
作者: Kai Cheng, Hao Wang, Wei Guo, Weiwen Liu, Yong Liu, Yawen Li, Enhong Chen（华为 & 中国科学技术大学）
提交日期: 2026年3月7日
arXiv: 2603.07107

1. 问题与动机

核心问题：推荐系统中的重排序（Reranking）旨在将粗排阶段输出的候选集，依据用户个性化偏好进行最终精排。其本质是一个序列优化问题：在所有可能的候选集全排列中，找到最大化用户满意度的排列 $R_u^{\ast }=\arg {\max }_{R_u\in \mathcal{P}(C_u)}p(R_u|C_u,H_u,P_u)$。

两大核心挑战：

挑战一：推理速度与生成质量的矛盾
生成式重排序（Generative Reranking）将排序问题建模为序列生成任务，天然适合捕捉位置间的依赖关系。然而，主流的自回归（Autoregressive, AR）方法（如Seq2Slate、PIER）必须逐步生成每个位置，T步生成产生O(T)的顺序依赖，导致推理延迟与序列长度线性正相关，在工业级高并发场景下难以接受。非自回归（Non-Autoregressive, NAR）方法虽然可以并行生成，但由于放弃了所有位置间的依赖关系，生成质量通常显著低于AR方法。

挑战二：用户与物品特征的交互深度不足
现有重排序方法在融合用户偏好与物品特征时，往往采用简单拼接（concatenation）的方式，缺乏细粒度的语义交互机制。用户的兴趣是动态的、多面的，不同物品应当激活用户兴趣的不同维度，而简单拼接无法建模这种"用户意图条件化物品表示"的交互逻辑。

重要性：重排序是推荐系统漏斗中最接近用户曝光的环节，其质量直接决定点击率和成单率。在电商、广告等商业场景，哪怕0.1%的NDCG提升都能带来可观的商业回报，而推理延迟直接影响系统QPS容量和用户体验。解决这两个挑战，是将生成式重排序从学术推向工业落地的关键一步。

2. 方法概述

PSAD（Personalized Semi-Autoregressive reranking with knowledge Distillation）框架由三个核心模块构成，形成一个训练时用重型教师模型生成软标签、推理时用轻量打分网络服务的师生蒸馏体系：

1. 共享编码器（Shared Encoder）：基于Transformer的自注意力层，将用户历史序列（长度N）与候选物品序列（长度M）拼接后统一编码，输出上下文感知的特征表示，是所有后续模块的特征基础。

1. 半自回归生成器（Semi-Autoregressive Generator，SAR）：作为教师模型，以"块"（Block）为单位并行生成排序序列。每次并行生成K个位置的物品（K是超参数），块间保持自回归依赖（前一块的输出作为后一块的条件），块内并行生成。这在AR的质量和NAR的速度之间取得折中，并通过"遮蔽-精炼"（Mask-and-Refine）机制在块内引入迭代优化。

1. 用户画像网络（User Profile Network，UPN）：通过个性化门控（Personalized Gating）和个性化位置编码（Personalized Position Encoding），将用户画像特征动态注入到物品表示和注意力机制中，使用户意图条件化整个特征空间，实现用户与物品的深层语义交互。

1. 在线知识蒸馏（Online Knowledge Distillation）：学生模块是一个轻量MLP评分网络，在与SAR教师共享编码器特征的同时，以SAR生成的排列概率（经指数衰减加权聚合）为软标签，通过KL散度损失进行蒸馏。整个蒸馏过程在训练时在线进行（teacher和student同步更新），推理时仅激活学生打分网络，大幅降低延迟。

推理时的工作流：编码器 → 用户画像网络增强 → 学生打分网络输出每个候选物品的分数 → 按分数排序输出最终列表。完全无自回归解码步骤，复杂度为O(1)相对于序列长度。

3. 核心技术贡献

贡献一：半自回归块生成 + 遮蔽精炼机制

SAR以块为单位生成：设块大小为K，总长度为T，则生成需要⌈T/K⌉轮解码（相比AR的T轮）。每块内的生成通过交叉注意力实现并行：
$$Y_{I_b}^l=\text{CrossAttn}(H^l,Y_{<I_b}^l)$$
其中 $I_b$ 是第b块的物品索引集，$Y_{<I_b}$ 是前b-1块已生成的物品表示。

在块内，引入"遮蔽-精炼"（Mask-and-Refine）机制：随机遮蔽当前块中比例为γ的位置，通过上下文增强（Contextual Enhancement）模块对被遮蔽位置进行再生成，利用同块内其他已生成物品的信息进行修正，从而缓解块内并行生成时的独立性假设误差。

训练损失融合了交叉熵和Hinge损失，并用DCG权重 ${\omega }_j=1/\log (j+1)$ 对靠前位置施加更高惩罚：
$${\mathcal{L}}_{gen}=\sum _j{\omega }_j\cdot [{\mathcal{L}}_{CE}+{\mathcal{L}}_{Hinge}]$$
贡献二：用户画像网络的双重个性化注入

UPN通过两个机制将用户画像 $P_u$ 注入特征空间：

• 个性化门控：计算门控信号 $S=\text{Sigmoid}(\text{MLP}(G_1\odot G_2))$，其中 $G_1,G_2$ 分别由 $(X,P_u)$ 的MLP变换得到，输出门控后的物品表示 $\hat{X}=S\odot X$。本质上是用用户画像动态选择每个物品特征维度的激活程度，实现"用户意图过滤物品语义"。

• 个性化位置编码：在标准位置编码基础上叠加用户感知的偏移：${\hat{P}}_{ij}^l=P_{ij}^l+\text{Tanh}(\text{MLP}(P_u\oplus P_{ij}^l))$。不同用户对位置偏差（Position Bias）的敏感程度不同，该设计使位置编码具有用户自适应能力。

贡献三：在线知识蒸馏的软标签构造方法

区别于传统的离线蒸馏（先训好teacher，再单独训student），PSAD采用在线蒸馏（teacher和student联合训练）。软标签的构造是核心创新：SAR生成排列后，用生成概率矩阵 ${\tilde{p}}_{ij}$（第i个物品被放到第j位的概率）通过指数衰减加权聚合为物品级分数：
$${\hat{p}}_i=\frac{{\sum }_j{\tilde{p}}_{ij}\cdot e^{-j}}{{\sum }_j{e}^{-j}}$$
指数衰减体现了排序的头部重要性（靠前位置权重更高）。学生的MLP评分 $s_i$ 通过KL散度对齐软标签：
$${\mathcal{L}}_{KD}=\text{KL}\left(\text{Softmax}(\hat{p}/\tau )\Vert \text{Softmax}(s/\tau )\right)$$
温度参数τ控制软标签的"软化"程度。总损失为：
$$\mathcal{L}={\mathcal{L}}_{gen}+{\mathcal{L}}_{scorer}+\alpha \cdot {\mathcal{L}}_{KD}$$
这样的设计使得SAR教师在训练时持续为student提供细粒度的排序知识，而student在推理时可完全独立运行，无需调用SAR生成器。

贡献四：PSAD-G与PSAD-S的双模式部署设计

PSAD提供两种推理模式：

• PSAD-G：推理时运行完整SAR生成器，追求最高质量；
• PSAD-S：推理时仅运行轻量学生打分网络，追求最优效率。

两者共享相同的训练过程，通过一次训练支持两种部署策略，赋予系统在不同资源约束下灵活配置的能力。

4. 实验结果分析

实验设置：

• 数据集：Ad（Taobao广告数据集，Tianchi竞赛）、PRM Public（rank2rec项目）、Avito（广告点击率数据集，Kaggle）
• 评估指标：NDCG@K、MAP@K
• Baselines：miDNN、DLCM、PRM、Seq2Slate、CRUM、PIER、NAR4Rec，覆盖评分式、列表式、生成式三类方法
• 延迟测试：batch size=256，单次推理时间（秒）

总体排序性能（Table 2）：

PSAD-G在全部三个数据集、全部指标上均显著超越所有baseline，相对提升幅度在1%～2.3%之间。PSAD-S（轻量推理模式）性能与NAR4Rec持平甚至略有优势，但推理速度更快。

推理延迟对比（Table 3，PRM Public，batch=256）：

PSAD-S以0.2161秒的推理时间，在所有具有序列建模能力的方法中（NAR4Rec、PIER、Seq2Slate等）最快，仅慢于不含序列依赖的miDNN（0.1893秒）和PRM（0.2037秒）。PSAD-G（完整SAR推理）虽慢于PSAD-S，但其推理质量最高，可用于对延迟不敏感的离线或批量场景。

蒸馏策略对比（Table 5）：

关键发现：SAR在线蒸馏在质量（0.3464 > NAR的0.3429 > AR的0.3434）和效率（0.5128秒，相比离线蒸馏0.8933秒节省约42%训练时间）上均取得最佳平衡。在线蒸馏相比离线蒸馏不仅更快，质量也未下降（0.3464 vs 0.3481，差距极小）。

消融实验（Table 4）：

消融结论：

• 半自回归结构（块间自回归依赖）贡献最大，去掉后Avito N@5下降3.80%，是最核心的设计；
• 上下文增强机制（遮蔽-精炼）贡献其次，显示块内迭代精炼的有效性；
• 两者联合去掉（退化为纯NAR）损失最大，验证了SAR相比NAR的显著优越性；
• 用户画像网络的两个组件（位置编码和门控）贡献相对温和但稳定，共同支撑个性化能力。

5. 局限与未来方向

已识别局限：

1. 块大小K的超参敏感性：实验发现随K增大，性能呈现"先升后降"的趋势。K过小退化为AR（推理慢），K过大退化为NAR（质量差）。最优K值依赖具体数据集和序列长度，缺乏自适应选择机制，需要额外的调参成本。

1. 无在线A/B测试验证：论文全部实验基于离线数据集，未提供生产环境的在线指标（如CTR、GMV提升），无法直接评估工业部署的实际收益。

1. 目标函数的单一性：当前框架仅优化效用（utility）相关指标（NDCG、MAP），未考虑多样性（Diversity）、公平性（Fairness）、新颖性（Novelty）等列表级多目标约束，而这些在工业推荐系统中同等重要。

1. 用户-物品交互深度的潜在瓶颈：用户画像网络通过门控机制注入用户信息，但Gate的实现相对简单（MLP+Sigmoid），在用户行为极其丰富或多模态用户表示（如图文行为）的场景下，表达能力可能仍不足。

潜在未来方向：

• 自适应块大小调度：根据用户请求动态调整K值，高优先级请求用小K保质量，高并发时用大K保吞吐，形成弹性推理策略。
• 多目标生成式重排序：将多样性约束（如MMR、DPP）或公平性约束融入SAR的生成损失中，探索多目标帕累托最优排序。
• 在线A/B测试与工业落地：在真实广告或电商平台上验证PSAD-S的线上收益，并研究与工业特征工程（稀疏ID特征、实时特征）的兼容性。
• 大语言模型（LLM）增强的用户画像：将LLM生成的用户意图描述作为更丰富的 $P_u$ 输入，替代传统统计型用户画像特征。
• 流式重排序：结合在线学习（Online Learning），使PSAD在流量推理过程中持续更新蒸馏目标，适应用户实时兴趣漂移。

6. 工业实践意义

对搜推系统实践者的核心启示：

1. "训练时用重模型，推理时用轻模型"的师生蒸馏范式是工业落地的标准路径

PSAD的核心工程哲学与工业推荐的实际约束完美契合：离线训练资源相对充裕，可以运行参数量大、推理慢的SAR教师；在线推理有严格的P99延迟约束（通常<10ms），只能运行轻量学生。这一范式在BERT→DistilBERT、大模型→小模型等NLP场景已成熟，PSAD将其系统化应用于序列重排序，具有方法论迁移价值。

2. PSAD-S的推理延迟（0.2161秒/batch=256）意味着约0.84ms/请求，在工业可接受范围内

对比来看：Seq2Slate需0.5873秒/batch，即2.29ms/请求；PIER需0.4735秒/batch，即1.85ms/请求。PSAD-S相比这些自回归方法节省约60-63%的推理时间，在重排序阶段（通常是整个推荐链路中延迟最敏感的环节）具有直接的工程价值。

3. 用户画像网络的个性化门控机制值得作为特征交互模块复用

UPN的个性化门控（User-conditioned Feature Gating）是一个轻量但有效的设计：通过用户画像动态调整物品特征的激活维度，无需引入昂贵的全交叉注意力（Cross-attention over user-item pairs），计算复杂度低但个性化表达能力强。这一设计可以作为独立模块插入其他推荐模型（粗排、精排），不局限于重排序场景。

4. 在线蒸馏比离线蒸馏更适合快速迭代的工业环境

在线蒸馏（teacher和student同步训练）在PRM Public上比离线蒸馏节省约42%训练时间（0.5128 vs 0.8933秒/batch），且质量几乎不变（N@10: 0.3464 vs 0.3481）。在工业中，模型更新频率高（日训甚至时训），在线蒸馏缩短了从数据收集到模型上线的周期，工程价值显著。

5. 半自回归的块大小K是延迟-质量权衡的关键旋钮

K=1对应完整自回归（最高质量，最慢），K=T对应完全并行（最低质量，最快）。工业实践中可以根据业务场景配置不同K值：

• 广告主搜索竞价场景（对质量极其敏感）：K=1或K=2；
• 信息流推荐（高并发，轻度延迟容忍）：K=4或K=8；
• 离线批量重排序（无延迟约束）：K=1配合完整SAR。

6. 对比行业现有方案的迁移策略

目前工业界重排序主流方案以PRM（阿里）和Seq2Slate（Google）为代表。PSAD-S与PRM推理延迟相当（0.2161 vs 0.2037秒），但在NDCG@10上均高出约0.76-2.11个百分点，迁移成本低而收益明确。对于已部署Seq2Slate的团队，PSAD-S可将推理速度提升约2.7倍，同时提升排序质量，升级动力充足。

总结：PSAD是一篇工程导向清晰的工业级研究，其贡献在于将半自回归生成、用户画像深度交互、在线知识蒸馏三者有机整合到一个统一框架，系统性解决了生成式重排序的落地难题。PSAD-G追求极致质量，PSAD-S追求部署效率，双模式设计体现了对工业约束的深刻理解。对于搜推算法团队而言，该框架的核心理念（SAR块生成 + 在线蒸馏轻量化）和个性化门控模块，均有较高的工程借鉴价值。

T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation

论文信息: arXiv:2603.06631 | 2026年2月23日 | Amazon
作者: Soroush Mokhtari, Muhammad Tayyab Asif, Sergiy Zubatiy

1. 问题与动机

在线杂货购物具有独特性：高度重复购买行为、篮内物品复杂依赖、购物篮无序性、购买间隔不规律。传统频次方法（P-Top）对新用户和小篮子表现差；BERT4Rec等MLM方案存在信息泄漏问题（训练时可偷看同篮其他mask token，推理时这些信息不存在）。核心挑战是在高维稀疏SKU空间中建模序列化的购物篮推荐。

2. 方法概述

T-REX采用"先预测类目序列，再类目内物品精排"的分层策略。将29,000个SKU映射到35个类目（生产扩展至280个），用6层Encoder-Decoder Transformer（50.4M参数）建模。Encoder从全局购物历史学习通用模式，Decoder通过交叉注意力生成个性化预测。

3. 核心技术贡献

1. 动态序列切分：随机选取锚点购物篮将历史划分为Encoder输入和Decoder目标，同一用户可生成多个训练样本，有效应对稀疏数据
2. 自适应时间位置编码：使用相对于锚点的归一化天数差作为位置表示，捕获不规律购买间隔的真实时间距离
3. 因果掩码优于MLM：自回归解码与预测任务天然对齐，避免了BERT4Rec的信息泄漏和训练-推理gap
4. 类目级建模降维：输出空间从万级降至百级，显著降低计算量，类目粒度购买模式更稳定易学习

4. 实验结果分析

离线指标：中位数用户Top-10推荐可召回90%+购物篮物品。小篮子(<5件)场景T-REX比P-Top高约30%，中等篮子高约10%。排名匹配：精确匹配30%(P-Top 27%)，1位内对齐60%(P-Top 48%)。

在线A/B测试：T-REX获得同类推荐widget中最高CTR。在订单销售额、综合销售额、毛利贡献上均显著提升。销售增量比Amazon全站同类推荐系统高约23%。使用经验贝叶斯+双重机器学习的严谨因果评估方法。

5. 局限与未来方向

• 仅对比频次基线，未与SASRec/BERT4Rec等主流方法系统比较
• 缺少对各组件（动态切分、时间编码、因果掩码）的独立消融实验
• 推理使用Teacher Forcing而非真正自回归生成
• 物品级推荐的完整链路端到端评估缺失

6. 工业实践意义

• 类目分层架构：先类目召回再物品精排，适合大规模SKU场景（零售、外卖等），推理延迟可控
• 因果掩码选型指导：生成式推荐任务应优先因果掩码，MLM适合表征学习但用于推荐生成时需警惕信息泄漏
• 时间位置编码：购买间隔不规律场景（杂货、医疗、B2B）应使用真实时间距离而非整数序号
• 频次基线的价值：在高重复购买品类中，简单频次策略可作为强baseline和线上fallback
• A/B评估方法：经验贝叶斯+双重机器学习的组合更可靠地评估真实业务价值
• 23%销售增量：垂类专项建模在高价值场景下值得投入