1. 问题与动机

传统深度学习推荐模型（DLRM）在工业级 CTR 预估中广泛应用，但面临根本性瓶颈：依赖人工特征工程、"强记忆弱推理"导致泛化能力不足、扩展模型规模时收益递减。生成式推荐（GR）模型虽然展示了类似 LLM 的 scaling 潜力，但工业部署面临三个关键障碍：(1) 稀疏参数和稠密参数的优化目标存在内在冲突——稀疏参数需要多样、低相关的样本实现鲁棒"记忆"，稠密参数则需要长连贯上下文实现序列"推理"；(2) 现有 GR 模型忽略了异质行为语义（点击 vs 曝光 vs 购买）；(3) 序列打包造成的分布偏移——将用户完整历史打包为 mini-batch 导致严重的用户内相关性，违反 SGD 的 i.i.d. 假设，使稀疏 embedding 过拟合特定用户。

2. 方法详解

三阶段架构设计：GRAB 采用 Sparse Feature Layer → Dense Tokenizer → Autoregressive Sequence Modeling 的三阶段流水线。与 DLRM 将 embedding 压缩为定长向量不同，Dense Tokenizer 保留时序结构，将每个事件的 field embedding 聚合并投影到 ℝ^{d_model}，输出有序事件 token 序列。

序列打包与用户隔离因果掩码：将多个用户的行为序列紧凑打包为单一张量 H ∈ ℝ^{1×L×d_model}，消除 padding 开销。用户隔离因果掩码确保跨用户无注意力泄露且保持时序因果性，形成块对角下三角注意力模式。

异质行为 Token 与可见性掩码：在每个时间步设计两类 token——Partial Token（仅保留时变信息，丢弃 user_id 等静态字段防止重复引发过拟合）和 Full Token（保留完整信息用于候选评分）。异质可见性掩码限制 partial token 仅关注历史 partial token，full token 关注 partial 历史和自身但不互相关注，防止冗余静态信息传播。

Action-Aware Relative Attention Bias (RAB)：注意力权重计算为 w_{i,j} = q_i^T·(k_j + Pos_{i,j} + Action_{i,j} + Time_{i,j})，包含三个可学习相对编码：位置距离、行为类型信号（点击/非点击）、时间距离（连续值分桶）。通过 codebook 方法将计算复杂度从 O(L²·d_model) 降至快速 gather 操作。双滑动窗口限制每 token 计算量。消融实验显示行为和时间信号比位置信号影响更大——历史序列对行为和时间信号更敏感，正标签（点击）获得 88% 的注意力权重。

Causal Action-aware Multi-channel Attention (CamA)：核心创新。将不同来源 token 分配到 C 个独立因果自注意力栈，每个通道有独立可见性掩码，避免将所有 token 展平为单序列导致的 O((n+m)²) 成本。Target-Token Gated Mixing 仅在目标位置进行跨通道信息共享：h̃^(c,ℓ) = h^(c,ℓ) + Σ β^(i,ℓ) ⊙ h^(i,ℓ)，β 为可学习门控权重，实现选择性信息融合。

Sequence-Then-Sparse (STS) 训练策略：两阶段解耦优化——第一阶段冻结稀疏 Embedding 表，优化 Dense Tokenizer + Causal Transformer，使 Transformer 聚焦事件间关系而非记忆特定 ID；第二阶段回退到非序列格式将每个样本视为独立曝光，仅优化稀疏 embedding，打破分布偏移。训练使用 Adam 优化器。

3. 核心技术贡献

(1) Sequence-First 范式迁移：将 LLM 的自回归序列建模范式引入 CTR 预估，GRAB 是首个在工业广告系统全量部署的 GR 模型，证明了 sequence-first 替代 feature-first 的可行性。相比最优基线 LONGER 提升 0.19% AUC（离线），线上 CTR +3.49%、收入 +3.05%。

(2) 异质行为建模：通过 Partial/Full Token 分离和 Action-Aware 注意力，首次在 GR 框架中显式建模不同行为类型的语义差异。消融显示仅用 partial token AUC 下降 0.028，验证异质设计的必要性。

(3) STS 训练解耦：解决了 GR 模型中稀疏-稠密参数的优化冲突。STS 带来 0.0065 AUC 增益，证明分布偏移是阻碍 GR 模型工业化的关键障碍之一。

(4) 多通道注意力：CamA 将不同来源 token 分离计算后通过门控混合，相比单通道降低计算成本的同时保持效果。

4. 实验结果分析

离线对比：在百度广告数据集上，GRAB-standard (AUC 0.83772) vs DIN (0.83309)、SIM(Soft) (0.83520)、TWIN (0.83556)、HSTU (0.83590)、LONGER (0.83615)。GRAB 在所有序列长度上均超越基线，且随序列增长优势扩大。

Scaling 分析：测试从 2 层/2 头/64d (6.51M) 到 4 层/4 头/512d (11.27M) 的多种配置，未观察到明显饱和趋势——增加模型容量稳定提升性能，尤其在长序列上更明显。

消融实验关键发现：异质 token 设计是最重要组件（仅 partial token 下降 0.028）；相对注意力中行为信号 > 时间信号 > 位置信号；多通道注意力移除下降 0.0029；STS 训练策略贡献 0.0065。

线上 A/B 测试：百度首页信息流广告，10% 主流量，约一个月：CTR +3.49%、CPM（千次曝光收入）+3.05%，推理成本与现有 DLRM 持平。

5. 局限与未来方向

论文在附录 F 中承认的局限：(1) 尚未验证 GRAB 在 CTR 以外推荐场景（如召回、粗排）的适用性；(2) 冷启动场景下极端稀疏性的处理仍待探索；(3) 稀疏-稠密参数平衡在不同数据集间的泛化性需要进一步研究。未来方向包括推荐系统 scaling law 的深入研究、跨域迁移学习、更复杂的稀疏特征交互机制、以及异构硬件平台的优化。

6. 工业实践意义

直接可采纳：(1) STS 训练策略——即使不采用完整 GRAB 架构，在现有序列模型训练中引入分阶段优化（先固定 embedding 训练序列模型、再固定模型优化 embedding）可有效缓解长序列训练中的分布偏移问题；(2) Action-Aware 注意力——在用户行为序列中区分行为类型（点击/曝光/停留）并给予不同注意力权重，88% vs 12% 的点击/非点击注意力分配比例是重要的参考信号。

部署考量：推理成本与 DLRM 持平是工业化的关键——通过序列打包消除 padding、双滑动窗口限制计算量、codebook 优化注意力计算实现了这一目标。百度实践表明，在数十亿日请求量和严格延迟约束下，GR 模型可以替代传统 DLRM，关键是硬件-软件协同设计。

注意事项：GRAB 的 scaling 特性在 6.5M-11.3M 参数范围验证，相比 LLM 的数十亿参数级别仍有数量级差距，扩展到更大规模是否仍保持线性增长需要进一步验证。