Quantized Inference for OneRec-V2 — 深度解读

1. 问题与动机

大语言模型（LLM）领域的低精度量化技术已经相当成熟：FP8 训练后量化（PTQ）可以将推理延迟降低 30–50%，同时几乎不损失模型质量，已在 GPT-4、Llama 等主流大模型上广泛部署。然而，传统推荐系统一直无缘这一红利。根本原因在于：传统推荐模型的权重方差高达 10^7，激活值方差约 10^6，远超 LLM 的 0.1 量级，动态范围过宽导致量化误差大、精度损失严重。此外，传统推荐系统的工作负载以「内存受限」为主（Memory Bound），而非计算受限（Compute Bound），使得降低计算精度的实际加速收益极为有限。

一个更根本的障碍是架构差异：传统多阶段召回-粗排-精排流水线缺乏密集的矩阵乘法计算密集区，无法有效利用 TensorCore 的 FP8 低精度计算单元。因此，推荐系统的量化研究长期停滞。

本文的核心出发点是：以 OneRec-V2 为代表的「生成式推荐模型」在架构上已经高度 LLM 化——基于 Transformer 的序列建模、稀疏 MoE 专家层、大规模 Dense GEMM——这使得量化可行性发生了根本性转变。但没有人验证过这一假设在生产级推荐系统上是否成立，更没有人将其推向在线 A/B 实验。本文填补了这一空白。

2. 方法详解

权重与激活值分布分析

作者首先对三类模型进行了系统性的数值统计对比：传统推荐模型、Qwen3-8B（代表 LLM）、OneRec-V2（代表生成式推荐）。评估指标包括：所有张量的平均方差（Mean Variance）、平均绝对最大值（AbsMax）、99 分位绝对值（AbsP99）。

结果显示 OneRec-V2 的权重方差低于 0.1（与 LLM 量级一致），激活统计量也比传统推荐模型小数个数量级。这一分析是整个工作的理论基础：正是这种「LLM 化的统计特性」使 FP8 量化得以在推荐模型上首次奏效。

FP8 PTQ 量化策略

量化范围精心设计，仅覆盖计算密集型算子：Attention 中的 QKV/O 投影 Linear 层、FFN Dense 层、稀疏 MoE 的 Grouped GEMM。其余组件（LayerNorm、Embedding、残差连接）保留 FP16 精度。

权重量化：采用 Per-Channel 粒度，离线从 FP16 参数计算 Scale，将 (FP8 权重, FP32 Scale) 对存储在 GPU 显存中。这意味着量化后的模型显存占用几乎减半。

激活值量化：采用动态 Per-Token 量化，在推理时对每个 Token 实时计算 Scale。对于 MoE 层，激活值使用 1×128 的分块粒度，权重使用 128×128 粒度，平衡了量化误差与计算效率。

计算流水线：输入激活值先重新缩放并量化至低精度 → 执行低精度矩阵乘法（FP32 累加）→ 结果 cast 回高精度送入后续层。这一流水线完全保留了 FP8 TensorCore 的加速收益，同时通过 FP32 累加避免精度损失扩散。

RecoGEM 推理基础设施

系统层面，作者摒弃了传统的 PyTorch → ONNX → TensorRT 多阶段转换路径（该路径常因算子兼容性问题引入大量 overhead），改为直接使用统一算子库构建 TensorRT 计算图。在此基础上实施了四项算子级优化：

1. 量化算子融合：Per-Row 激活缩放 kernel + Fused 低精度 GEMM，减少中间内存流量；
2. TopK 优化：用 RadixTopK kernel 替换默认实现，结合 kernel fusion 和 zero-copy 技术，专为大 batch 工作负载优化；
3. Attention 重设计：针对「大 batch、短 context」的推荐场景（区别于 LLM 的长上下文场景），引入 batch 级并行和软件流水线；
4. MoE 优化：基于 Hopper TMA 指令的 kernel，通过算子融合提升 TensorCore 利用率和模型 FLOPs 利用率（MFU）。

3. 核心技术贡献

贡献一：生成式推荐可量化性的首次系统性验证
本文通过精确的数值统计分析（方差、AbsMax、AbsP99 三维度对比）证明了生成式推荐模型的权重/激活分布已与 LLM 对齐，从根本上解释了「为什么现在可以量化」。这一分析框架本身就具有独立价值，为后续在不同生成式推荐架构上的量化工作提供了评估方法论。

贡献二：推荐场景下 FP8 PTQ 的工程化完整方案
区别于学术工作中的离线评估，本文提供了从量化粒度选择（Per-Channel 权重 + Per-Token/Block 激活）到 TensorRT 图构建的完整工程方案。特别是针对 MoE 架构的分块量化策略（1×128 激活，128×128 权重）是对标准 FP8 PTQ 方法的重要工程细节补充。

贡献三：通过 A/B 实验验证生产级无损部署
量化研究最大的挑战在于将离线指标与线上业务指标的对应。本文在快手（Kuaishou）和快手极速版（Kuaishou Lite）两个平台进行了为期一周的 A/B 实验，核心业务指标（用户留存时间、视频播放时长、互动率）未出现系统性下降，为「FP8 量化在大规模推荐生产环境中零损失」提供了最强证据。

4. 实验结果分析

系统性能对比

实验配置：OneRec-V2 生产规模模型（Fat-MoE，总参数 4B，每 token 激活 0.5B），batch size=32，FP16 推理作为 baseline。

吞吐量增益拆解（Figure 3）

92% 的吞吐量提升来自三个组件的叠加：

• 基础设施升级（旧 TRT 到新统一 kernel 库）：+27%
• FP8 量化（Linear + MoE）：额外 +42%
• 算子级优化（RadixTopK、Attention 重设计等）：进一步 +23%

三个组件各自独立贡献显著，说明在系统层面没有单一「银弹」，需要协同优化。其中 FP8 量化贡献最大（约占总提升的 46%），但算子优化的 23% 也不容忽视——这是纯 PTQ 算法研究往往忽视的部分。

在线 A/B 实验（Table 1，一周，快手双平台）

在快手主端：用户停留时长 +0.047%、视频播放时长 +0.044%、评论 +0.805%、收藏 +0.430%、转发 +0.313%；在快手极速版：部分指标出现轻微负向波动（如关注 -0.450%）但无统计显著性差异。

关键结论：不存在系统性性能下降，两个平台的核心业务指标在置信区间内与 FP16 基线持平。这是「量化在推荐系统可无损部署」最强的实证依据。

5. 局限与未来方向

作者明确指出三个局限：

1. 精度探索不足：本文仅研究 FP8，未探索 INT8、FP6、FP4、混合精度等方案，精度-效率 Pareto 前沿仍未被绘制。对于存储更受限的场景（端侧部署），更低精度可能更有价值但风险更高。

1. 基础设施门槛高：方案依赖 FP8 TensorCore（NVIDIA Hopper 架构，A100 不支持 FP8 训练，但 H100 支持）、TensorRT 推理引擎、定制化算子库。中小公司或使用 A100 集群的团队无法直接复用。

1. 模型覆盖局限：所有实验结论来自 OneRec-V2，能否泛化到 HSTU、TIGER、SIGMA 等其他生成式推荐架构尚未验证——尽管从统计特性分析角度推断应该可以。

一个作者未提及但值得关注的限制：MoE 的稀疏激活特性（每 token 仅激活 0.5B/4B 参数）对量化误差的实际影响可能与 Dense 模型不同，需要专门的误差传播分析。

6. 工业实践意义

立即可行的优化路径：对于已经部署 OneRec、HSTU 或类似基于 Transformer 的生成式推荐模型且使用 H100 集群的团队，本文提供了一条端到端延迟减半、吞吐翻倍的低风险优化路径。关键前提是先验证目标模型的权重/激活分布统计（方差 < 1）以确认量化适用性。

LLM 工具链迁移是大趋势：量化是 LLM 工具链向推荐系统迁移的第一步，但绝不是最后一步。Flash Attention、Continuous Batching、PagedKV、Speculative Decoding 等 LLM 推理优化技术在相同的架构前提下都有迁移可能性。本文验证了「LLM 化架构 + LLM 工具链」的完整路径是可行的。

FP8 量化粒度的工程细节值得深入参考：Per-Channel 权重量化 + Per-Token 动态激活量化的组合，以及 MoE 专家层的分块量化策略，是可以直接借鉴的工程 best practice，而不仅仅是一个「用量化」的高层结论。

A/B 实验设计的参考价值：一周双平台对照实验，覆盖 7 个核心业务指标（停留时长、播放时长、点赞、关注、评论、收藏、转发），这一评估框架本身就是工业量化实验设计的规范参考。在做类似推理优化实验时，需要监控的不仅仅是技术指标（延迟/吞吐），更重要的是核心业务指标的无损验证。