论文: LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation
机构: Meta | 部署场景: Facebook Feed & Reels 广告排序
1. 问题与动机
LLM 领域已建立了清晰的 Scaling Law（Chinchilla/Kaplan 定律）：模型性能随参数量、数据量、计算量呈可预测的幂律提升。然而，推荐系统是否也存在类似的缩放定律？ 这个问题一直缺乏系统性回答。
这个问题之所以重要，原因有三：
- 资源分配缺乏理论指导：工业推荐系统的模型迭代往往靠经验和"试"，缺少一套可预测的规律来回答"加深网络 vs 加长序列 vs 加丰富特征，哪个 ROI 更高？"
- 序列建模的扩展困境：用户行为序列越长、模型越深，效果通常越好，但在线推理有严格的延迟约束（通常 <10ms），这导致学术上有效的大模型在工业系统中无法直接部署。
- 特征工程的角色不清晰：在 LLM 中，token 本身就是语义丰富的单元；但推荐系统中 item 通常只用 ID 表示，这种稀疏表示是否制约了 Scaling Law 的成立？
论文的核心动机是：为推荐系统的序列建模建立类 LLM 的幂律缩放定律，并找到在工业延迟约束下持续扩展模型的可行路径。
2. 方法概述
LLaTTE（LLM-Style Latent Transformers for Temporal Events）提出了一套完整的方法论，包括缩放定律验证框架和工业部署架构：
缩放定律验证
沿四个维度系统地验证幂律关系 ΔNE(C) ∝ −α · log₁₀C：
| 缩放维度 | 具体范围 | 核心发现 |
|---|---|---|
| 模型深度 | 层数递增 | 宽度 d≈256 是阈值，低于此值加深无效 |
| 模型宽度 | 隐层维度递增 | 基础性维度，需先满足再扩展其他方向 |
| 序列长度 | 200 → 1600 tokens | 缩放斜率最陡，收益最大 |
| 信息密度 | ID-only → 语义特征丰富 | 语义特征是缩放的前提条件 |
两阶段异步架构
核心思路是 将计算密集的长序列建模与延迟敏感的在线排序解耦：
┌─────────────────────────┐ 缓存嵌入 ┌──────────────────┐
│ 上游用户模型 (异步) │ ──────────────→ │ 下游排序模型 │
│ · 长序列 (1600 tokens) │ (周期性更新) │ · 轻量实时推理 │
│ · 深层 Transformer │ │ · 候选-上下文交互 │
│ · >45× 在线 FLOPs │ │ · <10ms 延迟 │
└─────────────────────────┘ └──────────────────┘上游模型承担 >45 倍于在线模型的序列计算量，通过异步推理生成压缩的用户嵌入，在线模型只需读取缓存即可获得长序列的信息增益。
3. 核心技术贡献
贡献一：语义特征是 Scaling Law 的"开关"
这是论文最重要的发现。实验表明：
- ID-only 序列的缩放曲线极为平坦——即使模型加深加宽加长，效果提升甚微
- 加入语义嵌入（如内容理解 embedding）后，缩放曲线陡然变陡
这意味着语义特征不是"锦上添花"的加法增益，而是从根本上改变了模型的容量利用效率。没有语义特征，模型在 ID 稀疏性面前无法有效利用增加的参数，缩放定律不成立。
贡献二：宽度优先的缩放策略
论文发现模型宽度 d≈256 是一个关键阈值——只有宽度达到这个阈值后，增加深度才能产生显著收益。这与 LLM 领域的经验（通常深度优先）形成对比，反映了推荐系统特征空间的稀疏性需要足够的宽度来建立有效的表征。
贡献三：Multi-head Latent Attention (MLA) + 自适应金字塔输出
序列模块采用了：
- MLA 注意力机制：压缩 KV cache，提升显存效率
- 自适应金字塔输出提取：逐层递减计算量，在保持信息完整性的同时降低开销
- 查询 token 设计：融合候选 item 信息和上下文信息作为查询，实现精确的注意力聚焦
贡献四：~50% 的迁移效率
上游模型的离线提升约 50% 可以迁移到下游排序任务，远超典型的 25-30% 迁移率。这说明上游压缩嵌入保留了高质量的用户意图信号，两阶段架构的信息瓶颈损失可控。
4. 实验结果分析
实验规模
- 训练数据：300 亿生产样本
- 计算资源：128 块 H100 GPU
- 显著性阈值：NE 降低 0.02% 即认为统计显著
离线实验
各缩放维度的幂律关系均得到验证，关键结论：
| 维度 | 缩放斜率 | 说明 |
|---|---|---|
| 序列长度 (200→1600) | 最陡 | 扩展序列是 ROI 最高的方向 |
| 模型深度 | 稳健一致 | 在宽度达标后持续有效 |
| 模型宽度 | 基础性 | 是其他维度生效的前提 |
| 信息密度 | 质变式 | ID-only → 语义特征是质的飞跃 |
另一个重要发现是 序列组合比例：高频信号（浏览行为）和高价值信号（转化行为）的均衡混合优于极端分配，建议在实践中平衡多种行为类型。
注意力分析
对长序列的注意力权重分析揭示了两个有趣现象：
- 200-1600 token 范围内注意力分布非平凡，远期历史确实贡献了有意义的信息
- 注意力权重呈现日周期性模式，暗示模型捕捉到了用户行为的时间规律性
在线 A/B 实验
部署在 Meta 旗舰广告排序系统上：
- NE（Normalized Entropy）提升：0.25%（在 Meta 规模下极为显著）
- 转化率提升：Facebook Feed 和 Reels 上 4.3% conversion uplift
- 延迟开销：minimal serving overhead（核心卖点——几乎零额外延迟）
- 业务价值：年化价值数亿美元级别
5. 局限与未来方向
当前局限
- 异步更新的新鲜度损失（Staleness）：上游模型是异步/周期性推理的，无法实时捕捉用户最近几分钟的行为变化。对于突发兴趣转变的场景（如即时搜索触发的需求），存在信息滞后。
- 信息瓶颈：上游到下游的嵌入传递本质上是有损压缩。尽管 50% 的迁移率已经不错，但仍有一半的离线增益丢失。如何设计更好的信息压缩/传递机制是开放问题。
- 缩放上界不明确：论文验证了幂律关系在当前实验范围内成立，但没有给出缩放的理论上界——继续扩大模型/序列到什么程度会出现边际递减？
- 特定于广告场景：实验全部在 Meta 广告系统上进行，是否适用于电商搜索、内容推荐等其他场景尚需验证。
未来方向
- 高效长上下文推理核：通过 FlashAttention 等技术进一步降低长序列的计算开销
- 强化学习整合：将缩放后的序列模型与 RL-based 出价/排序策略结合
- 缩放上界的经验刻画：需要更大范围的实验来确定各维度的饱和点
- 可扩展基础设施：异步推理系统的工程优化（降低 staleness、提升吞吐）
6. 工业实践意义
这篇论文对搜索/推荐/广告系统的从业者有以下重要启示：
启示一：先投资语义特征，再投资模型规模
这是最核心的工业启示。很多团队在纯 ID 体系下尝试加深模型却收效甚微——这篇论文给出了清晰解释：ID-only 特征下缩放曲线是平的。正确的路径是：
先引入语义特征（如多模态 embedding、内容理解向量）→ 再扩展模型深度/序列长度
启示二：两阶段异步架构是工业 Scaling 的现实路径
在延迟预算极为有限的工业系统中，单阶段扩展模型是不可行的。LLaTTE 的两阶段架构提供了一个可复用的范式：
- 上游：用大模型+长序列异步生成用户表征，存入嵌入缓存
- 下游：在线排序模型读取缓存嵌入，保持低延迟
这个架构模式适用于任何有延迟约束的推荐/广告场景。
启示三：序列长度是最高 ROI 的扩展方向
如果团队只能选一个方向投入，延长用户行为序列的收益最大。从 200 扩展到 1600 的增益远超等量计算投入在深度/宽度上的收益。这为工业系统的序列存储和处理基础设施投资提供了决策依据。
启示四：行为序列的组合策略
不要只用单一类型的行为序列。浏览、点击、转化等多种行为的均衡混合优于只用高频信号或只用高价值信号。这为工业系统的特征工程提供了实操指导。
启示五：缩放定律可指导资源规划
幂律关系的可预测性意味着：团队可以通过小规模实验拟合缩放系数，然后外推大规模投入的预期收益，从而实现更理性的 GPU/数据/工程资源分配决策，避免盲目 trial-and-error。
总结：LLaTTE 是推荐系统领域 Scaling Law 的标志性工作。它不仅系统验证了幂律缩放关系的存在及其前提条件（语义特征），还通过两阶段异步架构给出了在工业延迟约束下持续扩展的工程方案，并在 Meta 广告系统上验证了显著的业务价值。对于任何在做推荐系统模型 scaling 决策的团队，这篇论文都值得精读。