目录 · 1 节
1深度解读：On the Practice of Deep Hierarchical Ensemble Network for Ad Conversion Rate Prediction深度解读：On the Practice of Deep Hierarchical Ensemble Network for Ad Conversion Rate Prediction
1. 问题与动机
广告转化率（CVR）预测与 CTR 预测有本质不同：CVR 标签极度稀疏（用户从点击到实际购买/注册的转化率远低于点击率）、标签收集延迟长（站外转化可能延迟数天才回传）、标签质量嘈杂。Pinterest 的转化广告系统需要预测用户在第三方网站/App 上的站外行为（购买、加购、注册等），面临的核心挑战是：预训练用户嵌入擅长通用个性化，但未针对转化概率预测进行优化。DHEN（Deep Hierarchical Ensemble Network）此前已在 CTR 预测中取得成功，但其在 CVR 场景的实践方案尚不明确。本文系统攻克了 DHEN 在 CVR 预测中的工程实践问题。
2. 方法详解
问题建模：转化概率分解为 P(conv;U,P) = P(ctr) × P(conv|ctr)，将 CVR 建模为点击后的条件转化概率。
多任务学习框架：以 DHEN 为统一 backbone，合并所有转化动作（购买、加购、注册等）到单次前向推理中。训练时额外包含 CTR 预测头（serving 时不使用），利用 CTR 的海量标签作为辅助信号增强 CVR 学习——CTR 标签量级比 CVR 高数个数量级。损失函数采用加权二元交叉熵，跨头联合优化。
五类行为序列特征：(1) S_search：用户在平台的搜索 query 序列；(2) S_org：有机内容互动序列（非广告）；(3) S_ads：广告互动历史；(4) S_match：匹配转化对（用户ID + 广告主ID + 动作类型）；(5) S_conv：归因转化序列（广告到站外转化的链接）。各序列独立编码而非合并，保持架构灵活性。
DHEN 架构：两层集成结构。第一层包含 MLP + Transformer 模块，第二层包含 MLP + MaskNet 模块。输入处理包括连续特征 min-max 归一化到 [0,1]、预训练嵌入的 Batch Normalization、时间戳对数变换、类别嵌入映射，统一投影到 R^(B×L×D) 维度。最终 MLP 为三层 [128,128,128] + sigmoid。总参数量 340M，部署在 8× NVIDIA A100 GPU 上。
自监督辅助损失：为解决 CVR 标签稀疏问题，加入未来动作预测的自监督目标：L(S) = -Σ log P(P_t | P_{t'<t})，通过 INFO-NCE 对比损失近似：L(S) = -Σ log(e^(x^T x_t) / (e^(x^T x_t) + Σ e^(x^T x_-)))，正样本 90 个、负样本 20 个为最优配置。
ParetoNet 参数搜索：不做穷举调参，而是随机采样配置在 60 天数据上训练，构建预测模型映射参数到 AUC/吞吐量，识别 Pareto 最优配置。
3. 核心技术贡献
(1) DHEN 统一多任务 CVR 预测：证明两层异构 DHEN（不同层使用不同模块组合）优于精心调优的单一 Transformer，关键在于不同特征交叉模块捕捉不同类型的特征交互模式。三层架构出现边际递减（+0.30% vs 两层的 +0.31%），且同质堆叠（每层相同模块）仅提升 +0.08%。
(2) 端到端行为序列建模：序列特征的影响力是预训练嵌入的 2 倍（图 6 消融实验）。这验证了在 CVR 场景中，端到端序列学习比静态预训练特征更重要——预训练嵌入虽有用，但不可替代序列特征。
(3) 自监督未来动作预测：NAL（Next Action Loss）比 MLM（Masked Language Modeling）效果更好（+2.18% vs +1.68% AUC），且最优负正样本比为 1:20，这与预训练场景需要更高比例不同。
(4) ParetoNet 高效参数搜索：通过构建参数-性能预测模型，在 AUC 和推理吞吐量之间找到 Pareto 最优，避免了穷举搜索的高昂成本。
4. 实验结果分析
离线特征交叉模块对比（相对 MLP 基线）：
| 模块配置 | AUC 提升 |
|---|---|
| 单一 DCN V2 | 适度提升 |
| 单一 Transformer | 较强提升 |
| 2 层 DHEN (MLP+Trans / MLP+MaskNet) | 最大提升 +0.31% |
| 3 层 DHEN | +0.30%（边际递减） |
线上 A/B 测试结果（生产环境）：
| 指标 | 变化 | 显著性 |
|---|---|---|
| 广告主 CPA | -2.15% | 高度显著 ✓ |
| 转化量 | +1.62% | 显著 ✓ |
| 展示转化率 iCVR | +4.90% | 显著 ✓ |
| 平台收入 | -0.10% | 不显著 |
| 广告展示量 | -0.68% | 显著（正面：用户看到更少广告） |
自监督损失消融：NAL 配置（正样本 90，负样本 20）带来 +2.18% AUC 提升，是最有效的单一优化手段。有趣的是，最优负正比 1:20 远低于预训练场景的常见配比，说明 CVR 场景中负样本过多反而引入噪声。
基础设施成本增加约 $1.2M/年，但 CPA 降低和转化量提升带来的广告主价值远超成本。
5. 局限与未来方向
作者明确提出四个方向：(1) 全空间优化：CVR 和 CTR 正交运作，联合优化参与度信号（CTR、观看、收藏）和 CVR 可能进一步提升；(2) 高级序列建模：探索更长序列、生成式 AI 方法、更丰富的逐 item 特征；(3) 延迟标签反馈：站外转化测量固有延迟，造成训练信号滞后；(4) 隐私保护 ML：行业趋向差分隐私和数据洁净室，减少标签数量和质量。
6. 工业实践意义
直接可采纳：(1) 多任务 DHEN 框架——用一个模型预测多种转化类型，比独立模型更高效且效果更好；(2) 自监督序列预测损失——在标签稀疏的搜索/推荐场景中，通过预测用户未来行为增强模型泛化，即插即用；(3) 五类行为序列的分离编码策略——搜索序列、浏览序列、交互序列分开处理比混合更好。
关键数字：序列特征 > 预训练嵌入（2x 影响力）；两层异构 DHEN > 单一 Transformer（+0.31%）；NAL 自监督 +2.18% AUC；线上 CPA -2.15%，转化量 +1.62%。
部署考量：340M 参数模型部署在 8× A100 上，年增 $1.2M 基础设施成本。对于中小规模系统，可从两层 MLP+Transformer 的简化 DHEN 开始，逐步引入 MaskNet 层和自监督损失。