1. 问题与动机
美团外卖推荐经过近十年迭代，传统 DLRM (Deep Learning Recommendation Model) 范式已遭遇明显的容量天花板，转化率提升趋于停滞。团队明确指出 DLRM 在外卖排序场景的两个失败模式：(1) 模型容量加大后回报递减，难以再吃到 Scaling Law 红利；(2) 复杂手工交叉特征带来的维护成本越来越高，但单纯叠加更多特征不再带来显著线上收益。
借鉴 Meta 提出的 Generative Recommender (GR) 与 HSTU (Hierarchical Sequential Transduction Units) 架构思想，团队希望验证：生成式推荐范式能否在工业 ToC 真实流量上突破传统 DLRM 的容量天花板，并把 Scaling Law 兑现为线上收入。该问题的工业意义在于，如果生成式推荐能复刻 LLM 的「模型规模 → 性能」幂律，那么搜推领域的迭代范式将从「特征工程」彻底转向「数据 + 算力」。
2. 方法详解
整体架构（混合式 GR）。 不同于纯生成式方案完全抛弃 DLRM 的交叉特征，MTGR 选择「混合式」路线：保留 DLRM 中所有交叉特征作为额外信号，同时引入 HSTU 序列编码器统一处理多个用户行为序列、上下文与候选物品。这一设计避免了去掉交叉特征带来的性能回撤，同时把「特征工程的累积红利」与「Scaling Law 的新增长点」同时吃到。
Token 化方案。 User Profile 中每个特征单独表示为一个 Token；用户行为序列则将 item ID 与对应 side info（如类目、价格、距离）拼接后通过非线性映射组装成单个 Token，避免在长度方向上把同一行为拆得过细。
统一 HSTU 编码 + Group LayerNorm。 多类输入序列（用户长期行为、近期行为、当日实时行为、候选物品、上下文）共用同一 HSTU 主干，但通过 Group LayerNorm 为不同类别的 Token 应用不同的归一化参数。每层输入额外加 LayerNorm 来保证深层（22 层）训练稳定。
动态混合 Mask。 历史静态特征不施加掩码；当日实时行为采用 Causal Mask + 时间戳过滤；曝光样本与实时行为之间通过时间戳计算掩码，防止信息泄露。这种「按时间 / 按特征类型分组」的混合掩码是混合式架构能稳定训练的关键。
训练设置。 基于 2024 年 10 月起约半年外卖日志数据训练。设置 small / middle / large 三档：序列长度分别 3k / 3k / 1k，最大模型深度 22 层、d_model = 1024，单样本前向 137.87 GFLOPs（约为 DLRM 基准的 160 倍）。优化器、batch size 和具体步数博客未披露，但提到「按用户粒度压缩样本」（同一用户 N 条压缩为 1 条）显著降低 IO 与算力开销。
3. 核心技术贡献
- 混合式 GR 架构本身。 把交叉特征 + 生成式序列建模融合在同一模型，比纯端到端 GR 更适合工业场景的平滑替换 —— 不必重做特征体系即可上线，风险显著降低。
- Fused Cutlass HSTU Kernel。 自研基于 Cutlass 的融合算子，相比开源 Triton 版本性能提升 2~3 倍。这是 30ms 时延约束下 GR 能落地的核心工程突破，没有底层算子优化则即使模型有效也无法部署。
- Group LayerNorm + 多序列统一编码。 通过分组归一化让一套 HSTU 兼容多种异质序列输入，避免每类输入单独搭塔，显著简化模型结构。
- 特征 H2D + CUDA Graph + FP16 三合一推理优化。 把整体推理时延从 19ms 压到 12ms（−37%），吞吐 +50%，FP16 与 FP32 打分差异控制在 0.006 以内。这是 GR 能在外卖核心位置全量上线的工程基石。
4. 实验结果分析
Scaling Law 验证。 MTGR 在 small / middle / large 三档间均观察到清晰的幂律关系：模型规模、计算量与离线 / 在线指标都呈现一致的 scaling 趋势，且未观察到饱和迹象，意味着继续放大仍有空间。
核心指标（MTGR-large vs 原 DLRM）：
- 离线 CTCVR GAUC：+2.88pp（这是外卖排序中 GAUC 单次优化罕见的大幅提升）
- 外卖首页列表订单量：+1.22%（团队明确说明「近 2 年单次优化最大收益」）
- PV_CTR：+1.31%
工程指标：
- 训练成本与 DLRM 基准持平（得益于按用户粒度压缩 + Cutlass kernel）
- 在线推理资源节省 12%（单分片推理对候选数量敏感性下降）
- 推理时延从 19ms 降至 12ms（−37%），CUDA Graph 后 P99 降低 16~57%
- FP16 吞吐 +50%
未做的实验。 博客并未对比纯生成式（无交叉特征）的版本，因此「混合式架构相对纯 GR 的具体增益」缺乏直接消融。也没有公开 small / middle / large 三档的具体 GFLOPs vs GAUC 曲线斜率。
5. 局限与未来方向
作者明确提出的局限：
- 当前 large 档 1k 序列长度仍小于 small / middle 的 3k，是为了控制 22 层深模型的算力，未来需要 scale 到更长序列
- Scaling Law 验证只在 GFLOPs ≤ 137 范围，更大模型的边际收益尚未验证
- 模型仅覆盖排序，召回 / 出价 / 创意等环节尚未生成式化，距离「一模型范式」还有距离
未在博客中提及但实践中明显的限制：
- 混合式架构使模型对「交叉特征工程」仍有依赖，无法享受 GR 简化特征工程的红利
- 30ms 时延预算依赖 Cutlass 自研 kernel，其他团队复现门槛较高
6. 工业实践意义
对社区搜索 / UGC 短文本搜索的具体启示：
- 平滑升级路径：MTGR 的混合式架构是社区搜索升级排序模型最稳妥的范式 —— 保留现有 query/item/cross 特征体系，只在序列建模部分换为 HSTU。可以分阶段实施：先把 user behavior 序列编码器从 GRU/Transformer 升级为 HSTU，再逐步把候选物品也 token 化进同一序列，最终演进为完整 GR。
- 底层算子是落地刚需：Cutlass kernel 对落地的关键性提示我们 —— 在选择是否上 GR 之前，需要先评估是否有自研算子能力或能否复用 NVIDIA recsys-examples。Triton 版本性能的 1/2~1/3 大概率无法满足社区搜索的时延约束（社区搜索时延预算通常更紧，30~50ms）。
- Scaling Law 不是免费午餐：MTGR 训练成本通过用户粒度压缩 + 算子优化才做到与 DLRM 持平。社区搜索若直接 scale 模型而不做这两项工程优化，训练成本会爆炸增长。
- A/B 验证的标准范式：MTGR 离线 GAUC +2.88pp 对应线上订单量 +1.22%，这个比例（约 2.4:1）可作为 GR 类模型「离线 → 在线」收益预估的参考基线。
短期可执行动作清单：
- 评估自研 Cutlass HSTU kernel 或对接 NVIDIA recsys-examples 的可行性
- 把现有排序模型的 user sequence encoder 升级为 HSTU，先做小档位 scaling 实验
- 准备按用户粒度压缩样本的数据流水线，为后续 large 档训练做准备
- 与 infra 团队对齐 H2D 优化、CUDA Graph、FP16 三个推理优化项的可用性