LLaTTE: 大规模广告推荐中多阶段序列建模的缩放定律 — 深度解读

论文: LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation
机构: Meta | 部署场景: Facebook Feed & Reels 广告排序

1. 问题与动机

LLM 领域已建立了清晰的 Scaling Law（Chinchilla/Kaplan 定律）：模型性能随参数量、数据量、计算量呈可预测的幂律提升。然而，推荐系统是否也存在类似的缩放定律？ 这个问题一直缺乏系统性回答。

这个问题之所以重要，原因有三：

1. 资源分配缺乏理论指导：工业推荐系统的模型迭代往往靠经验和"试"，缺少一套可预测的规律来回答"加深网络 vs 加长序列 vs 加丰富特征，哪个 ROI 更高？"
2. 序列建模的扩展困境：用户行为序列越长、模型越深，效果通常越好，但在线推理有严格的延迟约束（通常 <10ms），这导致学术上有效的大模型在工业系统中无法直接部署。
3. 特征工程的角色不清晰：在 LLM 中，token 本身就是语义丰富的单元；但推荐系统中 item 通常只用 ID 表示，这种稀疏表示是否制约了 Scaling Law 的成立？

论文的核心动机是：为推荐系统的序列建模建立类 LLM 的幂律缩放定律，并找到在工业延迟约束下持续扩展模型的可行路径。

2. 方法概述

LLaTTE（LLM-Style Latent Transformers for Temporal Events）提出了一套完整的方法论，包括缩放定律验证框架和工业部署架构：

缩放定律验证

沿四个维度系统地验证幂律关系 ΔNE(C) ∝ −α · log₁₀C：

两阶段异步架构

核心思路是 将计算密集的长序列建模与延迟敏感的在线排序解耦：

┌─────────────────────────┐     缓存嵌入      ┌──────────────────┐
│  上游用户模型 (异步)      │  ──────────────→  │  下游排序模型     │
│  · 长序列 (1600 tokens)  │   (周期性更新)     │  · 轻量实时推理   │
│  · 深层 Transformer      │                   │  · 候选-上下文交互 │
│  · >45× 在线 FLOPs       │                   │  · <10ms 延迟     │
└─────────────────────────┘                    └──────────────────┘

上游模型承担 >45 倍于在线模型的序列计算量，通过异步推理生成压缩的用户嵌入，在线模型只需读取缓存即可获得长序列的信息增益。

3. 核心技术贡献

贡献一：语义特征是 Scaling Law 的"开关"

这是论文最重要的发现。实验表明：

• ID-only 序列的缩放曲线极为平坦——即使模型加深加宽加长，效果提升甚微
• 加入语义嵌入（如内容理解 embedding）后，缩放曲线陡然变陡

这意味着语义特征不是"锦上添花"的加法增益，而是从根本上改变了模型的容量利用效率。没有语义特征，模型在 ID 稀疏性面前无法有效利用增加的参数，缩放定律不成立。

贡献二：宽度优先的缩放策略

论文发现模型宽度 d≈256 是一个关键阈值——只有宽度达到这个阈值后，增加深度才能产生显著收益。这与 LLM 领域的经验（通常深度优先）形成对比，反映了推荐系统特征空间的稀疏性需要足够的宽度来建立有效的表征。

贡献三：Multi-head Latent Attention (MLA) + 自适应金字塔输出

序列模块采用了：

• MLA 注意力机制：压缩 KV cache，提升显存效率
• 自适应金字塔输出提取：逐层递减计算量，在保持信息完整性的同时降低开销
• 查询 token 设计：融合候选 item 信息和上下文信息作为查询，实现精确的注意力聚焦

贡献四：~50% 的迁移效率

上游模型的离线提升约 50% 可以迁移到下游排序任务，远超典型的 25-30% 迁移率。这说明上游压缩嵌入保留了高质量的用户意图信号，两阶段架构的信息瓶颈损失可控。

4. 实验结果分析

实验规模

• 训练数据：300 亿生产样本
• 计算资源：128 块 H100 GPU
• 显著性阈值：NE 降低 0.02% 即认为统计显著

离线实验

各缩放维度的幂律关系均得到验证，关键结论：

另一个重要发现是 序列组合比例：高频信号（浏览行为）和高价值信号（转化行为）的均衡混合优于极端分配，建议在实践中平衡多种行为类型。

注意力分析

对长序列的注意力权重分析揭示了两个有趣现象：

• 200-1600 token 范围内注意力分布非平凡，远期历史确实贡献了有意义的信息
• 注意力权重呈现日周期性模式，暗示模型捕捉到了用户行为的时间规律性

在线 A/B 实验

部署在 Meta 旗舰广告排序系统上：

• NE（Normalized Entropy）提升：0.25%（在 Meta 规模下极为显著）
• 转化率提升：Facebook Feed 和 Reels 上 4.3% conversion uplift
• 延迟开销：minimal serving overhead（核心卖点——几乎零额外延迟）
• 业务价值：年化价值数亿美元级别

5. 局限与未来方向

当前局限

1. 异步更新的新鲜度损失（Staleness）：上游模型是异步/周期性推理的，无法实时捕捉用户最近几分钟的行为变化。对于突发兴趣转变的场景（如即时搜索触发的需求），存在信息滞后。

1. 信息瓶颈：上游到下游的嵌入传递本质上是有损压缩。尽管 50% 的迁移率已经不错，但仍有一半的离线增益丢失。如何设计更好的信息压缩/传递机制是开放问题。

1. 缩放上界不明确：论文验证了幂律关系在当前实验范围内成立，但没有给出缩放的理论上界——继续扩大模型/序列到什么程度会出现边际递减？

1. 特定于广告场景：实验全部在 Meta 广告系统上进行，是否适用于电商搜索、内容推荐等其他场景尚需验证。

未来方向

• 高效长上下文推理核：通过 FlashAttention 等技术进一步降低长序列的计算开销
• 强化学习整合：将缩放后的序列模型与 RL-based 出价/排序策略结合
• 缩放上界的经验刻画：需要更大范围的实验来确定各维度的饱和点
• 可扩展基础设施：异步推理系统的工程优化（降低 staleness、提升吞吐）

6. 工业实践意义

这篇论文对搜索/推荐/广告系统的从业者有以下重要启示：

启示一：先投资语义特征，再投资模型规模

这是最核心的工业启示。很多团队在纯 ID 体系下尝试加深模型却收效甚微——这篇论文给出了清晰解释：ID-only 特征下缩放曲线是平的。正确的路径是：

先引入语义特征（如多模态 embedding、内容理解向量）→ 再扩展模型深度/序列长度

启示二：两阶段异步架构是工业 Scaling 的现实路径

在延迟预算极为有限的工业系统中，单阶段扩展模型是不可行的。LLaTTE 的两阶段架构提供了一个可复用的范式：

• 上游：用大模型+长序列异步生成用户表征，存入嵌入缓存
• 下游：在线排序模型读取缓存嵌入，保持低延迟

这个架构模式适用于任何有延迟约束的推荐/广告场景。

启示三：序列长度是最高 ROI 的扩展方向

如果团队只能选一个方向投入，延长用户行为序列的收益最大。从 200 扩展到 1600 的增益远超等量计算投入在深度/宽度上的收益。这为工业系统的序列存储和处理基础设施投资提供了决策依据。

启示四：行为序列的组合策略

不要只用单一类型的行为序列。浏览、点击、转化等多种行为的均衡混合优于只用高频信号或只用高价值信号。这为工业系统的特征工程提供了实操指导。

启示五：缩放定律可指导资源规划

幂律关系的可预测性意味着：团队可以通过小规模实验拟合缩放系数，然后外推大规模投入的预期收益，从而实现更理性的 GPU/数据/工程资源分配决策，避免盲目 trial-and-error。

总结：LLaTTE 是推荐系统领域 Scaling Law 的标志性工作。它不仅系统验证了幂律缩放关系的存在及其前提条件（语义特征），还通过两阶段异步架构给出了在工业延迟约束下持续扩展的工程方案，并在 Meta 广告系统上验证了显著的业务价值。对于任何在做推荐系统模型 scaling 决策的团队，这篇论文都值得精读。

DeepInterestGR 深度解读

Mining Deep Multi-Interest Using Multi-Modal LLMs for Generative Recommendation

1. 问题与动机

本文瞄准的核心问题是生成式推荐（Generative Recommendation）中的 「浅兴趣」（Shallow Interest）问题。

现有生成式推荐方法（如 TIGER、LC-Rec、MiniOneRec）在将 item 编码为 Semantic ID（SID）时，仅依赖 标题（title）和简短描述（description） 等浅层文本特征。这导致两个层面的缺陷：

• Item 表征层面：SID 只编码了表面属性（如品牌、品类），无法捕获 item 背后隐含的深层语义（如使用场景、风格偏好、生活方式暗示）。例如，一款露营帐篷的标题只反映"帐篷"这个品类，但用户购买它可能暗示"户外探险生活方式"这一深层兴趣。
• 用户建模层面：基于浅层 item 表征的用户序列建模，只能挖掘出浅层的兴趣模式（如"买了 A 品类再买 B 品类"），无法挖掘跨域、跨品类的深层兴趣迁移。

为什么重要？ 生成式推荐是当前推荐系统的前沿范式，其核心优势是通过 LLM 的世界知识实现更好的泛化。但如果 item 表征本身是浅层的，LLM 的推理能力就被浪费在了浅层 pattern matching 上，等于"大炮打蚊子"。解决 Shallow Interest 问题，才能真正释放 LLM 在推荐场景中的潜力。

2. 方法概述

DeepInterestGR 提出了一个 三模块 + 两阶段训练 的框架：

三个核心模块

1. MLIM（Multi-LLM Interest Mining）：使用多个前沿 LLM（GPT-5.1、Gemini-3-Pro、Kimi-K2-Thinking、Grok-4）通过 Chain-of-Thought 提示，从 item 的标题、描述、图片中挖掘深层兴趣标签。多个 LLM 的结果通过共识机制聚合——至少 2 个 LLM 同时输出的兴趣才被保留，再按出现频率和置信度排序。

1. RLDI（Reward-Labeled Deep Interest）：用一个轻量级 LLM 分类器（Qwen2.5-7B-Instruct，zero-shot）对挖掘出的兴趣进行质量标注——"具体、可操作、真实" 标记为正，"模糊、泛化、幻觉" 标记为负。经 500 样本人工验证，与人工标注一致率 87.2%。

1. IEID（Interest-Enhanced Item Discretization）：将筛选后的深层兴趣通过 Qwen3-Embedding-4B 编码为 embedding，再用 RQ-VAE 量化为 SID（4 层、每层 256 码本），使 item 的离散编码中融入了深层兴趣语义。

两阶段训练

• Stage 1 — SFT：在 Qwen2.5-7B-Instruct 上做监督微调，学习从用户交互序列预测目标 item 的 SID。
• Stage 2 — RL（GRPO）：使用兴趣感知奖励函数进行强化学习优化。奖励 = 基础命中奖励 + α × 兴趣质量奖励（α=0.5），其中兴趣质量来自 RLDI 标签。通过 GRPO 归一化优势估计，鼓励模型生成与高质量深层兴趣对齐的推荐。

3. 核心技术贡献

贡献一：显式定义并解决 "Shallow Interest" 问题

这是本文最重要的概念贡献。之前的工作虽然在 item 编码上做了各种改进（如 LC-Rec 的多层量化、MiniOneRec 的多模态对齐），但没有人从"兴趣深度"的角度去审视问题。本文清晰地指出：问题不在于量化方法，而在于输入到量化器的特征太浅。

贡献二：Multi-LLM 共识挖掘

与简单调用单个 LLM 不同，本文的多 LLM 共识机制有两个关键优势：

• 降低幻觉：单个 LLM 容易产生 hallucination，但多个 LLM 同时输出相同兴趣的概率极低，除非该兴趣确实有据可依。实验证明 ensemble 的 Interest Quality 为 0.891，远高于任何单个 LLM（最高 0.847）。
• 多元视角：不同 LLM 有不同的训练数据和偏好，能从不同角度挖掘兴趣。

贡献三：兴趣质量感知的 RL 奖励设计

将 RLDI 标签融入 RL 奖励函数是一个巧妙的设计。传统 RL 在推荐中的奖励通常只看"推荐对不对"（命中 ground truth），但本文额外奖励"推荐路径是否经过高质量兴趣"，相当于在奖励信号中注入了 过程监督（process supervision） 的思想。

与现有方法的关键区别

4. 实验结果分析

主实验

在 Amazon Review 三个数据集（Beauty、Sports、Instruments）上，DeepInterestGR 相对最强 baseline（MiniOneRec）取得了 9.2%—15.1% 的相对提升：

• Beauty：HR@10 从 0.0945 → 0.1032（+9.2%），NDCG@10 从 0.0502 → 0.0558（+11.2%）
• Sports：HR@10 从 0.0627 → 0.0703（+12.1%），NDCG@10 从 0.0330 → 0.0376（+13.9%）
• Instruments：HR@10 从 0.0878 → 0.0972（+10.7%），NDCG@10 从 0.0455 → 0.0513（+12.7%）

Sports 数据集提升最大，可能因为运动品类的"深层兴趣"（如运动类型、健身目标、运动水平）比美妆品类更具区分性。

消融实验（关键发现）

在 Beauty 数据集上的消融分析揭示了各组件的重要性排序：

1. 去掉 RL（-16.4% HR@5）：RL 阶段是最关键的，说明 SFT 不足以充分利用深层兴趣信号。
2. 去掉 MLIM（-11.8% HR@5）：深层兴趣挖掘本身是第二重要的组件。
3. 去掉 IEID（-8.4% HR@5）：兴趣增强的 SID 编码有显著贡献。
4. 去掉兴趣感知奖励（-6.3% HR@5）：即使保留 RL，去掉兴趣质量信号也会明显下降。

多模态 vs 纯文本

加入视觉特征带来 5.0%—5.8% 的额外提升，说明图片中确实包含标题/描述中未体现的兴趣信息（如产品外观风格、使用场景暗示）。

跨域泛化

最令人印象深刻的结果：在跨域迁移实验中（如 Beauty 训练 → Sports 测试），DeepInterestGR 相对 MiniOneRec 取得了 HR@10 +24.8%、NDCG@10 +27.3% 的平均提升。这强有力地验证了"深层兴趣"具有跨域迁移能力——浅层特征（品类、品牌）无法跨域迁移，但深层兴趣（"追求品质生活"、"注重性价比"）可以。

5. 局限与未来方向

当前局限

1. 计算成本高昂：MLIM 需要调用 4 个前沿 LLM API（GPT-5.1、Gemini-3-Pro 等），每个 item 都需要多轮 CoT 推理。对于大规模工业数据集（百万级 item），这笔 API 费用和延迟是不可忽视的。论文未讨论具体的计算开销。

1. 数据集规模有限：三个 Amazon 数据集最大仅 ~35K 用户、~18K item，与工业场景（千万级用户、百万级 item）差距巨大。在大规模稀疏场景下，深层兴趣挖掘的效果可能不同。

1. 离线兴趣挖掘的时效性问题：MLIM 是一次性的离线挖掘过程，无法捕获用户兴趣的实时变化。用户的深层兴趣可能随季节、生活阶段等动态变化。

1. 对 LLM 质量的强依赖：方法效果高度依赖前沿 LLM 的能力。如果换成较弱的开源模型，兴趣挖掘质量可能大幅下降。

1. 评估局限：仅在 leave-last-out 协议下评估，且绝对指标偏低（HR@10 ~ 0.07-0.10），说明整体推荐准确性仍有较大提升空间。

未来方向

• 兴趣蒸馏：将前沿 LLM 挖掘的深层兴趣蒸馏到轻量级本地模型中，降低推理成本。
• 在线增量挖掘：结合流式学习，在用户新交互到来时增量更新深层兴趣表征。
• 兴趣层次建模：当前的深层兴趣是扁平的标签列表，未来可以构建层次化的兴趣树（如"户外运动" → "登山" → "高海拔登山"），支持不同粒度的推荐。
• 更大规模验证：在工业级数据集和实际 A/B 测试中验证效果。

6. 工业实践意义

对搜索/推荐系统的直接启示

1. "兴趣深度" 是一个值得关注的新维度：工业推荐系统长期以来关注"兴趣广度"（多兴趣建模，如 MIND、ComiRec）和"兴趣时效性"（实时特征、session 建模），但很少从"深度"角度思考。本文提出的 Shallow Interest 问题在工业系统中同样存在——大量 item 的特征只有标题和品类，用户画像也只停留在浅层标签。

1. LLM 作为 "特征增强器" 的范式：不需要用 LLM 做端到端推荐，而是用 LLM 来增强现有特征。这种范式在工业中更可行——离线用 LLM 批量处理 item 库，生成深层兴趣标签，然后将这些标签作为特征注入现有的推荐管道（embedding 层或特征交叉层）。

1. 多 LLM 共识机制的普适性：这个思路可以泛化到任何 LLM 辅助的特征工程场景——通过多模型投票降低幻觉风险。在广告文案生成、商品标签挖掘等场景中同样适用。

1. 跨域兴趣迁移的实际价值：电商平台往往有多个业务线（如淘宝的服装、数码、家居），深层兴趣的跨域迁移能力意味着可以用高频业务的数据增强低频业务的推荐，缓解冷启动问题。

落地建议

• 成本可控的实施路径：可以先对高价值 item（如高 GMV、高曝光）做 LLM 深层兴趣挖掘，再逐步扩展到长尾 item。无需一次性覆盖全部 item 库。
• 与现有系统的融合：深层兴趣标签可以作为额外的 side information 注入已有的双塔模型或序列模型，不需要推翻现有架构。
• 质量控制是关键：RLDI 模块的设计思路值得借鉴——任何 LLM 生成的特征都需要质量把关。在工业中可以用更完善的人工审核 + 自动分类器来保证兴趣标签的可靠性。

总结

DeepInterestGR 的核心价值不在于具体的模型架构（RQ-VAE + GRPO 本身不算新），而在于提出了一个重要的问题视角（Shallow Interest），并给出了一个系统性的解决方案（LLM 挖掘 → 质量过滤 → 兴趣增强编码 → 兴趣感知 RL）。这套 "用 LLM 世界知识深化 item 语义" 的范式，对于工业推荐系统在 LLM 时代的演进具有重要参考价值。