1. 问题与动机

当前主流 CTR 模型（DeepFM、DCN、AutoInt 等）对所有特征采用统一的交互策略——将全部特征同时输入交互层进行建模。论文指出这种「一刀切」策略忽视了特征的固有异构性：categorical 特征（如 item ID）极度稀疏，其 embedding 在训练初期严重欠拟合；而 numerical 特征（如价格、时长）则相对稠密、信息量充足。当稀疏特征的噪声表征过早参与交互时，其噪声信号会「淹没」稠密特征的有效信号，导致学到的表征质量退化甚至出现灾难性坍缩（representation collapse）。已有工作通过多模态语义来缓解 item ID 的稀疏问题，但忽略了其他特征之间同样存在的信息密度差异，形成性能瓶颈。

2. 方法详解

MGDIN（Multi-Granularity Deferred Interaction Network）包含两个核心阶段：

阶段一：多粒度特征分组（Multi-Granularity Feature Grouping）。将 n 个原始特征按不同窗口大小分组，K 个并行窗口分支同时操作，第 h 个窗口的粒度为 g_h。每个分支将相邻 g_h 个特征拼接为一个组，产生 n/g_h 个特征组。例如工业配置使用 K=4 个并行窗口，粒度分别为 {32, 64, 96, 128}。多粒度设计的目的是在不同抽象层级上捕捉特征间的信息密度模式。

阶段二：信息感知延迟交互（Information-Aware Deferred Interaction）。核心创新在于分层掩码策略：

1. 在第 0 层计算初始注意力分数矩阵 A_0^h，反映特征组之间的原始信息关联强度
2. 在第 l 层，通过 Top-k_l 掩码选择性地激活特征交互：Z_l^h = [(Q·K^T) ⊙ I(A_0 ∈ Top-k_l)] · V
3. 激活阈值随层数线性递增：k_l = ⌊(l/L)·n²⌋，第 1 层只激活约 1/L 的交互对，逐层增加直到最后一层激活全部

这种设计确保信息量丰富的特征（注意力分数高）优先参与交互建立稳健表征，而稀疏/欠训练的特征被「延迟」到后续层才逐步引入。每层后接残差连接、Layer Normalization 和 Per-token FFN。

预测层：K 个窗口分支的输出通过 Pooling 聚合后输入 MLP 预测点击概率，使用标准交叉熵损失训练。

工业数据集配置：3 层交互、4 个并行窗口（粒度 32/64/96/128）、逐层稀疏比 {0.33, 0.66, 1.0}。Amazon-Sports 配置：3 层、2 个窗口（粒度 2/4）。

复杂度分析：空间复杂度为 Σ(n/g_h)²，通常小于标准注意力的 O(n²)；时间复杂度为 max{(n/g_h)²}，因为 K 个窗口并行计算。

3. 核心技术贡献

贡献一：首次将「延迟交互」概念引入 CTR 特征建模。不同于此前所有工作将特征同时输入交互层的做法，MGDIN 根据特征的信息密度决定其参与交互的时机。高信息量特征优先交互、建立稳健表征后，再逐步引入低信息量特征，从根本上避免了噪声信号对有效信号的干扰。实验验证移除延迟交互（w/o DI）导致 AUC 从 0.6994 降至 0.6971。

贡献二：多粒度并行策略。通过不同窗口粒度在多个抽象层级上同时捕捉特征交互模式，缓解了信息分布不均匀的问题。移除多粒度（w/o MG，退化为单窗口）AUC 从 0.6994 降至 0.6964，降幅大于移除延迟交互。

贡献三：基于初始注意力的交互调度。利用第 0 层计算的注意力分数作为特征信息密度的代理指标，指导后续各层的交互激活顺序。这避免了需要显式定义「特征信息量」的困难——让模型自动通过注意力机制发现哪些特征对应该优先交互。

4. 实验结果分析

公开数据集 Amazon-Sports：MGDIN 相比最强基线 OneTrans 在 AUC 上提升 +0.21%（0.6775→0.6789），GAUC 提升 +0.41%（0.6517→0.6544）。对比基线涵盖经典模型（FM、DNN、Wide&Deep、DeepFM、DCN）和近期模型（AutoInt、GDCN、MaskNet、RankMixer、OneTrans）。

工业数据集（70亿交互）：MGDIN 相比 OneTrans 在 AUC 上提升 +0.54%（0.6956→0.6994），GAUC 提升 +0.25%（0.5921→0.5936）。值得注意的是工业数据集上 MGDIN 相比 OneTrans 的提升（AUC +0.54%）远大于公开数据集（+0.21%），说明特征异构性问题在大规模真实数据中更为严重。

消融实验（工业数据集）：

• 完整 MGDIN：AUC 0.6994，GAUC 0.5936
• w/o MG（单窗口）：AUC 0.6964（-0.43%），GAUC 0.5910（-0.44%）
• w/o DI（无延迟交互）：AUC 0.6971（-0.33%），GAUC 0.5917（-0.32%）

多粒度模块的贡献略大于延迟交互模块，两者均不可缺。

超参数分析：（1）窗口数量 K 增加通常带来性能提升；（2）延迟比例 k_l 的变化对性能影响较小，论文解释为「稀疏特征在数据集中占比不大，关键是确保它们被延迟到后期阶段引入」。

在线 A/B 测试：在主要电商平台部署 10 天，MGDIN 实现 CTR 相对提升 3.04%，无额外推理延迟。

5. 局限与未来方向

论文未显式列出局限性。隐含局限包括：（1）多粒度窗口的粒度配置（如 {32, 64, 96, 128}）需要手动设定，未提供自动搜索方案；（2）延迟交互的线性递增策略（k_l = l/L·n²）可能不是最优调度策略；（3）该方法目前仅在广告 CTR 场景验证，尚未在其他推荐任务（如视频推荐、内容推荐）上验证。

6. 工业实践意义

MGDIN 对搜索推荐系统的实践价值体现在三个层面：

即插即用的特征交互优化：延迟交互策略不需要改变现有模型的整体架构，只需在特征交互层引入分层掩码机制。对于已有 CTR 模型的团队，这是一种低成本的增量优化手段。线上 3.04% 的 CTR 提升非常显著，证明了工业级效果。

通用的特征工程指导：论文揭示的特征异构性问题具有普遍意义——在任何包含高稀疏 ID 特征和稠密统计特征的 CTR 系统中，都可能存在类似的噪声干扰问题。即使不采用 MGDIN 的具体方案，也可以通过简单的启发式规则（如先训练稠密特征子网络，再逐步引入稀疏特征）来缓解该问题。

零延迟部署实践：MGDIN 的多窗口并行设计天然适合 GPU 并行计算，且掩码操作本身计算开销极低。在线部署确认无额外推理延迟，说明延迟交互的「延迟」仅体现在训练逻辑中，不影响推理效率。对于延迟敏感的广告和搜索排序场景，这是关键的部署优势。