1. 问题与动机

现有 CTR 预估中的用户行为序列建模主要关注用户交互的物品本身，忽略了行为的上下文信息——即交互发生时的行为类型（点击/购买/浏览）、时间特征（时段/工作日/周末/用餐时间）和空间特征（搜索页/推荐列/广告位）。虽然部分工作（如 DIF-SR、Trans2D）尝试引入单一维度的上下文，但缺乏对多维度情境信息的统一建模。

更关键的问题是，用户行为序列中存在大量平台曝光（exposed）但用户并未主动交互的物品，形成噪声。传统方法要么硬过滤这些曝光，要么直接混入序列，都无法在保留有用信号和降噪之间取得平衡。

本文提出"情境"(situation) 概念，将行为类型、时间、空间三类特征统一为结构化的情境表征，并通过可微分的概率降噪解决曝光噪声问题。

2. 方法详解

DSAIN 模型由四个核心模块组成：

行为降噪模块 (BDM)：使用 Gumbel-Softmax 重参数化技巧实现可微分的概率采样。对每个历史行为，计算其与目标物品的相关性概率 p_i，然后通过 Gumbel 分布采样得到选择因子 d_i，对物品嵌入进行加权。温度参数 τ=1.0 控制采样软硬程度。实验发现最优曝光保留比约为每个点击保留 12 个曝光。

情境特征编码器 (SFE)：为每类情境特征（共 n=5 维）学习两类向量——通用向量（捕捉特征类别共性）和特定向量（捕捉具体取值差异），通过门控机制自适应融合。关键设计是将融合后的向量 reshape 为 micro-MLP 的权重和偏置参数 (W, b)，对降噪后的物品嵌入进行特征级变换 f_k(e_i) = σ(W_k · e_i + b_k)。这种"特征嵌入参数化"方式使每个情境特征都能独立调制物品表征。

关联融合模块 (CFM)：三方向 mixer 架构，堆叠 M=4 层：

• Behavior-Mixer：处理序列方向的相关性，包含 Adjacent（相邻窗口 L_w=30）、Dilated（等间隔采样建模长程依赖）和 Shifted（跨段边界交互）三个子组件
• Channel-Mixer：在嵌入维度 d_2=8 上建模跨维度语义
• Feature-Mixer：在情境特征维度 n=5 上建模特征间关系

三个 mixer 按 Behavior→Channel→Feature 顺序级联，信息逐步流动。

情境聚合模块 (SAM)：通过通道自适应注意力（channel-adaptive attention）将多维情境特征聚合为行为表征。与标量注意力不同，SAM 在每个嵌入维度上独立计算权重，实现更精细的特征融合。最终序列嵌入为加权平均 e_s = (1/L) Σ g_i ⊗ b_i。

训练配置：二元交叉熵损失，Adam 优化器 lr=0.001，正态分布初始化(μ=0, σ=0.01)，序列长度 L=300。

3. 核心技术贡献

(1) 情境概念的形式化：首次将行为类型、时间、空间统一为"情境"(situation) 的结构化定义，为 CTR 预估中用户行为的上下文建模提供了系统化框架。比之前孤立使用时间戳或行为类型的方法更完整。

(2) Gumbel-Softmax 概率降噪：区别于硬过滤或直接混入，BDM 通过可微分概率采样实现"软降噪"，在训练中自动学习曝光的信息价值。消融实验显示 AUC 提升 0.3-0.8%。

(3) Micro-MLP 参数化编码：情境特征嵌入直接生成变换网络参数，而非简单拼接或注意力加权。这使得每个情境维度对物品表征的调制方式更加灵活，不受固定交互结构的限制。

(4) 三方向混合器架构：在序列、嵌入通道和情境特征三个维度上分别建模关联性，然后级联融合。Behavior-Mixer 中的分区策略（Adjacent+Dilated+Shifted）特别巧妙，以较低复杂度捕获多尺度序列模式。

4. 实验结果分析

离线实验：在三个真实数据集上全面超越 8 个基线：

基线分三组：Group I（DIN/DIEN/CAN，仅用通用特征），Group II（DMT/FeedRec，用行为类型），Group III（CARCA/Trans2D/DIF-SR，用时空特征）。DSAIN 在所有场景均最优。

消融实验关键发现：

• BDM 去除后 Meituan AUC 下降最显著（约 -0.5%），证明降噪的重要性
• Behavior-Mixer 是 CFM 中最关键的组件，单独去除影响最大
• 通道自适应注意力（SAM）显著优于标量注意力，说明维度级精细融合的价值

在线 A/B 测试（美团外卖，40% 流量，7 天）：

• CTR +2.70%、CPM +2.62%、GMV +2.16%
• 已正式部署上线

超参数敏感性：CFM 层数 M=4 最优（>4 收益递减），温度 τ=1.0 最佳。

5. 局限与未来方向

作者提到的局限：

• 序列长度固定为 300，对超长序列（如电商用户数万行为）的扩展性未验证
• 情境特征类型（行为类型、时间、空间）需要人工定义，缺乏自动发现机制

未提及但值得注意：

• 在线推理时 micro-MLP 参数化可能带来额外延迟（尽管理论复杂度可控）
• Gumbel-Softmax 在极低温度下可能出现梯度消失

6. 工业实践意义

直接可采纳的设计：

1. 情境特征定义可直接迁移到 UGC 搜索场景——搜索入口（主搜/推荐流/关注页）、时间段、设备类型都是天然的情境维度
2. BDM 降噪思路对于搜索日志中的曝光-点击数据特别有价值，软概率过滤比硬过滤更合理
3. 三方向 mixer 的分区设计（Adjacent+Dilated+Shifted）提供了一种无需注意力机制的高效序列建模方案

部署注意事项：

• 代码已开源（GitHub），基于 TensorFlow，可复现
• 在美团 40% 流量的 A/B 测试中稳定正收益，工业可靠性高
• 关键超参数不多（主要是 CFM 层数和温度），调参成本低

性能数据参考：美团外卖平台 13.3 亿交互、1.3 亿用户规模下 CTR +2.70% 的在线提升是非常显著的，说明情境信息在大规模真实场景中确实存在未被充分利用的价值。