1. 问题与动机
Meta 的广告推荐系统面临三大核心挑战：
数据稀疏性与异构性：Meta 每天处理数十亿次用户-广告交互，但这些交互本质上是极度稀疏的——每个用户只与极少量广告发生转化行为。同时，输入数据跨越文本、图片、视频等多种模态，以及 Facebook Feed、Instagram Reels 等多个平台（surface），信号来源高度异构。
模型碎片化问题：传统做法是为每个广告场景（如 Feed 排序、Reels 推荐、Story 广告等）训练独立的 Vertical Model（VM）。这些模型各自为战，无法共享跨场景的用户行为知识。例如，用户在 Instagram 视频上的兴趣偏好无法帮助提升 Facebook Feed 广告的预测精度。
Scaling 瓶颈：传统推荐模型的架构设计限制了其从更多数据和算力中获益的能力。与 LLM 领域已验证的 scaling law 不同，推荐模型此前缺乏清晰的"加数据+加算力→持续提升效果"的路线图。
为什么重要？ 广告是 Meta 的核心商业引擎。即使 1% 的转化率提升，在 Meta 的规模下也意味着数十亿美元级别的营收增长。更关键的是，GEM 试图回答一个行业级命题：推荐系统是否也能像 LLM 一样，通过 Foundation Model 范式实现 scaling law？
2. 方法概述
GEM（Generative Ads Recommendation Model）的核心思路是：将 LLM 的 Foundation Model 训练范式迁移到广告推荐领域，构建一个统一的"中央大脑"，然后通过知识蒸馏赋能下游数百个场景化模型。
整体架构分为三层：
┌─────────────────────────────────────────┐
│ GEM Foundation Model │ ← 跨场景统一训练，LLM-scale
│ (InterFormer + Wukong + Seq Pyramid) │
└───────────┬──────────────┬──────────────┘
│ Direct │ Hierarchical
▼ ▼
┌──────────────┐ ┌──────────────────┐
│ Vertical │ │ Domain-specific │
│ Models (VM) │ │ Foundation Models│
└──────────────┘ └───────┬──────────┘
│ Distillation
▼
┌──────────────┐
│ Surface VMs │ ← 线上低延迟服务
└──────────────┘训练阶段：GEM 在数千块 GPU 上进行大规模预训练，学习跨平台、跨广告类型的通用用户行为模式。
部署阶段：GEM 本身不直接上线服务（太大），而是通过知识蒸馏将学到的知识传递给数百个轻量级的 Vertical Models，这些 VM 在线上低延迟地为具体场景服务。
持续迭代：线上 VM 产生的用户交互数据回流到训练管线，GEM 周期性重训练，更新后的知识再次蒸馏到 VM，形成闭环。
3. 核心技术贡献
3.1 InterFormer：交错式特征交互架构
传统方法的问题：以往的序列推荐模型先将用户行为序列压缩为一个固定维度的 summary vector，然后再与其他特征（用户画像、广告属性等）做交叉。这相当于把一部小说压缩成一个评分——大量细节信息在压缩过程中丢失。
GEM 的方案：InterFormer 采用交错式结构，在序列学习层（自定义 Transformer）和跨特征交互层之间反复交替：
Input → [Seq Layer] → [Cross-Feature Layer] → [Seq Layer] → [Cross-Feature Layer] → ...每一个循环中，序列学习捕获用户行为的时序模式，跨特征交互层则将序列信息与非序列特征（如广告创意、用户画像）进行深度融合。关键在于：全程保留完整的序列信息，而非先压缩再交互，实现了渐进式精炼。
3.2 增强版 Wukong：可堆叠分解机 + 跨层注意力
GEM 在非序列特征交互上增强了 Wukong 架构：
- 可堆叠分解机（Stackable Factorization Machines）：每层发现不同复杂度的特征组合模式
- 跨层注意力连接（Cross-layer Attention）：让深层可以选择性关注浅层发现的重要特征组合
- 双向可扩展：垂直方向加深交互层数，水平方向扩展特征覆盖范围
这种设计让模型能自动学习"哪些特征组合最重要"，而非依赖人工特征工程。
3.3 序列金字塔（Pyramid-Parallel Structure）
挑战：用户行为序列可达数千条事件，直接用标准 Transformer 处理在计算和存储上都不现实。
方案：
┌──────────────┐
│ Top: 综合理解 │
├──────┬───────┤
│ 中层模式融合 │
├──┬───┼───┬───┤
│ Chunk│Chunk│...│ ← 底层：并行处理行为片段
└──┴───┴───┴───┘- 底层：将长序列分割为多个 chunk，并行处理
- 中层：将 chunk 级模式融合为更宽泛的行为模式
- 顶层：综合形成完整的用户旅程理解
这种设计兼顾了计算效率（并行处理）和信息完整性（多层融合），且存储开销极小。
3.4 知识蒸馏框架 + Student Adapter
GEM 的知识转移效率是标准蒸馏方法的 2 倍，关键创新包括：
- 双通道转移：Direct Transfer（同域 VM 直接从 GEM 学习） + Hierarchical Transfer（先蒸馏到领域 FM，再蒸馏到场景 VM）
- 三种蒸馏技术并用：知识蒸馏（KD）、表示学习（Representation Learning）、参数共享（Parameter Sharing）
- Student Adapter 创新：在蒸馏训练中加入一个轻量适配器，用最新的 ground-truth 数据修正 teacher 输出，解决两个关键问题：
1. 时效性问题：FM 训练周期长，预测可能过时
2. 域偏移问题：GEM 的通用预测与特定场景目标之间存在差异
3.5 训练基础设施
| 指标 | 提升幅度 |
|---|---|
| 有效训练 FLOPs | 23x |
| GPU 利用率（MFU） | 1.43x |
| 作业启动时间 | 5x 缩短 |
| PyTorch 2.0 编译时间 | 7x 缩短 |
关键技术：HSDP（Hybrid Sharded Distributed Parallel）处理稠密参数、二维数据/模型并行处理稀疏 Embedding 表、自定义 GPU Kernel 处理变长序列、FP8 量化、NCCLX 通信优化。
4. 实验结果分析
线上效果
| 场景 | 转化率提升 | 时间段 |
|---|---|---|
| Instagram 广告 | +5% | Q2 2025 |
| Facebook Feed 广告 | +3% | Q2 2025 |
| Q3 增量迭代 | 效果翻倍 | Q3 2025 |
效率指标
- 单位算力产出：GEM 每单位数据和算力带来的效果增益是上一代模型的 4 倍
- 蒸馏效率：知识转移效果是标准 KD 的 2 倍
- Scaling 验证：Q3 通过增加数据和算力，性能收益在 Q2 基础上翻倍——这直接验证了推荐模型的 scaling law 存在性
结果的意义
- 5% 转化率提升在广告领域是巨大的：广告系统高度优化，通常 0.1%-0.5% 的提升就值得上线。5% 意味着 Meta 广告收入的数十亿美元增长。
- Scaling law 验证：Q3 "加算力→效果翻倍" 的结果表明，推荐模型确实存在类似 LLM 的 scaling 规律，这为行业指明了方向。
- 4x 效率提升：说明 Foundation Model 范式不仅效果好，而且更"经济"——相同投入产出更大。
5. 局限与未来方向
当前局限
- 部署复杂度高：GEM 无法直接在线服务，必须依赖蒸馏管线。蒸馏引入延迟（模型更新不及时）和信息损失（student 无法完全复现 teacher 能力）。Student Adapter 虽缓解了时效性问题，但增加了系统复杂度。
- 训练成本极高：数千块 GPU 的训练规模对绝大多数公司不可及。文章未讨论训练成本与收益的量化关系。
- 技术细节不完全公开：作为工程博客，缺少消融实验（ablation study）。无法量化 InterFormer、Wukong 增强、序列金字塔各自的贡献占比。
- 多模态能力尚在规划中：当前 GEM 主要处理行为序列和结构化特征，对广告创意内容（图片、视频）的多模态理解仍是未来方向。
- 冷启动问题未提及：Foundation Model 依赖丰富的行为数据，对新用户、新广告主的冷启动效果未知。
作者规划的未来方向
- 多模态融合：同时处理文本、图片、音频、视频
- 推理时 Scaling：动态分配计算资源给"困难"预测，类似 LLM 的 test-time compute
- 统一排序模型：有机内容和广告共用一个排序模型
- Agentic 自动化：智能体驱动的广告主自动化投放优化
个人认为的改进方向
- 在线蒸馏 / 实时 FM 更新：缩短 FM 训练-蒸馏-部署的管线延迟
- 模型稀疏化与高效推理：探索 MoE（Mixture of Experts）架构，让 FM 部分模块可直接在线服务
- 因果推断融合：当前模型本质仍是相关性学习，融入因果推断可提升对干预效果的估计精度
6. 工业实践意义
对搜索/推荐系统的启示
1. Ranking FM 化是可行且高效的路线
GEM 最重要的信号是：Foundation Model 范式在推荐排序领域被大规模验证成功。这不是学术实验，而是在 Meta 数十亿用户的真实流量上验证了 5% 的转化提升。对于拥有足够数据和算力的公司（字节、Google、Amazon 等），Ranking 模型的 FM 化将成为主流方向。
2. "大模型训练 + 蒸馏部署" 范式值得借鉴
GEM 确立了推荐系统的 "pre-train → distill → deploy" 三段式范式，与 LLM 的 "pre-train → fine-tune → deploy" 类似但针对推荐场景做了适配。核心洞察：线上服务不需要跑大模型，只需要让大模型教会小模型。Student Adapter 的设计解决了蒸馏中 staleness 和 domain shift 两个实际痛点，这对任何采用 teacher-student 架构的系统都有参考价值。
3. InterFormer 的交错式设计可迁移到搜索排序
传统搜索排序中，query 理解和文档理解通常先独立编码再交互（如 DE 模型）。InterFormer 的"边编码边交互"思路可应用于搜索场景——让 query 序列（历史搜索）与候选文档特征在编码过程中反复交互，而非先压缩再计算相似度。
4. 序列金字塔对长行为序列建模的实用价值
工业系统中用户行为序列越来越长（数千甚至数万），标准 Transformer 的 O(n²) 复杂度不可接受。金字塔结构提供了一个工程上可行的方案——chunk 并行 + 分层融合，在保持信息完整性的同时控制计算成本。这对电商搜索的长期用户兴趣建模尤其有价值。
5. 跨场景知识共享降低冷启动成本
对于多业务线公司（如同时有搜索、推荐、广告多个场景），GEM 的 hierarchical distillation 框架提供了一种系统性的跨场景知识共享方案，新场景可以快速从成熟场景的 FM 中获取初始知识。
6. 训练基础设施的工程经验
HSDP、变长序列 GPU Kernel、FP8 量化、NCCLX 通信优化等工程实践，对任何在做大规模推荐模型训练的团队都有直接参考价值。特别是 23x 训练吞吐量提升的经验，表明工程优化本身可以带来数量级的效率收益。
总结
GEM 的核心价值不在于某个单点技术创新，而在于系统性地证明了推荐排序领域的 Foundation Model 路线可行。它回答了行业一直在探索的问题：推荐模型是否也能像 LLM 一样 scale up？答案是肯定的——而且效率还能做到 4 倍于上一代。这为整个搜索/推荐/广告行业的模型 scaling 提供了清晰的路线图。
Sources: