← 全部深度解读
📖 深度解读 · GENERATIVE

PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations

Chengcheng Guo, Kuo Cai, Yu Zhou, Qiang Luo, Ruiming Tang, Han Li, Kun Gai, Guorui Zhou · arXiv 2601.04674 · 发表 2026-01-08
11 分钟阅读时长 4144字 4.05综合分 第 2 名02-28 Generative 日报
目录 · 6 节1问题与动机2方法概述3核心技术贡献4实验结果分析5局限与未来方向6工业实践意义
相关 3新颖 5实用 4证据 4时效 5
生成式推荐中 Semantic ID 的层级生成与 LLM 的 Chain-of-Thought 推理存在结构性类比——早期生成错误会导致「语义漂移」，而过程奖励模型 (PRM) 可在每一步修剪错误分支，这为推荐系统的推理时扩展提供了全新范式。

Now I have sufficient detail. Let me compose the deep reading.

PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations — 深度解读

1. 问题与动机

本文瞄准的核心问题是生成式推荐中的"语义漂移"（Semantic Drift）。

在当前主流的生成式推荐范式中，物品被编码为多层的 Semantic ID（通常通过 RQ-VAE 或 Residual K-means 量化得到），推荐模型像语言模型一样，自回归地逐层生成这些 token。问题在于：早期高层 token 一旦生成错误，后续所有 token 都会被不可逆地带入错误的语义子空间——就像 Chain-of-Thought 推理中第一步逻辑错了，后面所有推导都跑偏了。

这一问题的根源是经典的 Exposure Bias：模型在训练时使用 teacher forcing（每步看到正确输入），但推理时要依赖自身上一步的预测，一旦犯错便缺乏纠错机制。传统的 beam search 仅依据模型自身的 likelihood 打分，无法有效识别和修剪偏离正确语义空间的候选路径。

为什么这个问题重要？ 在工业级推荐系统中（如快手，日活 4 亿+，物品库 1 亿+），语义漂移直接导致召回率大幅下降。论文实验表明，在没有 PRM 的情况下，第三层生成的 HRecall@3@1000 仅 22.96%，意味着超过 3/4 的候选在生成过程中已经偏离了正确的语义空间。

2. 方法概述

PROMISE 的核心思路可以用一句话概括：借鉴 LLM 推理中的 Process Reward Model (PRM) 思想，为生成式推荐的每一步中间生成结果提供密集的过程级反馈，通过 PRM 引导的 Beam Search 实现推理时扩展（Test-Time Scaling）。

整体框架包含两个关键组件：

(1) Path-Level PRM（路径级过程奖励模型）

一个轻量级的注意力模块，在 Semantic ID 生成的每一层（而非仅最终结果）对候选路径进行打分。具体结构为：

  • 使用 Cross-Attention 机制复用主编码器的输出（不需要重新编码用户序列）
  • F 层堆叠架构 + MLP 打分头
  • 使用 InfoNCE loss 在正样本（ground-truth 物品的 Semantic ID 前缀）和负样本（随机采样的有效路径）上进行对比学习训练

(2) PRM-Guided Beam Search

在推理时执行改进的 Beam Search：

  • 每一步先将候选集从 K 扩展到 K⁺ 个候选 token（K⁺ >> K）
  • 用 PRM 对 K⁺ 个候选打分，选出 Top-K′ 进入下一步（K′ = K，保持解码器计算量不变）
  • 关键洞察：扩大 K⁺ 只增加 PRM 的轻量计算，不增加主解码器的计算开销

3. 核心技术贡献

贡献一：首次建立"推理时扩展"在推荐系统中的理论联系

论文提出了一个重要的结构性类比：

LLM 推理生成式推荐
Token 序列Semantic ID 层级序列
Chain-of-Thought 步骤从粗粒度到细粒度的量化层
推理错误传播语义漂移
PRM 逐步验证逐层路径打分

这不是简单的方法迁移，而是揭示了两个看似不同领域之间的深层结构同构。

贡献二：PRM vs ORM 的关键区别

与仅在最终结果上给出监督信号的 Outcome Reward Model (ORM) 不同，PRM 提供密集的逐步反馈（dense, step-by-step feedback）。在 Semantic ID 的层级结构中，第一层编码粗粒度语义（如"运动鞋" vs "连衣裙"），后续层逐步精细化。PRM 可以在第一层就修剪掉偏离正确大类的候选，避免后续计算浪费在注定错误的分支上。

贡献三：计算-性能解耦的 Scaling 方案

传统提升推荐质量的方式是增大模型参数（training-time scaling），而 PROMISE 通过增加推理时的搜索宽度 K⁺ 实现性能提升（test-time scaling），且主解码器计算量保持不变。论文证明：在达到相同性能水平时，test-time scaling 比 parameter scaling 节省 30-40% 的 FLOPs。

贡献四：极轻量的工程设计

  • PRM 仅增加主模型 15% 的参数量
  • 使用主模型 1/4 的注意力头
  • 采用 Radix Top-K 优化加速 GPU 计算
  • 端到端推理延迟仅增加 10%

4. 实验结果分析

公开数据集（Amazon Review）

在 Sports/Outdoors 数据集上，相较 ActionPiece 基线：

  • Recall@5 提升 +42.41%
  • NDCG@5 提升 +44.39%

在 Beauty 数据集上提升相对温和（Recall@5 +4.90%），可能因为 Beauty 品类的语义空间更为紧凑，语义漂移问题不那么严重。

工业级数据集（快手）

在 1 亿+ 物品、500 亿日交互的规模上，相较 GRank 基线（K⁺=6000）：

  • Recall@100 提升 +59.31%（0.1609 vs 0.1010）
  • NDCG@100 提升 +40.47%（0.00663 vs 0.00472）
  • Recall@500 提升 +25.92%（0.3017 vs 0.2396）

工业数据集上的提升远大于公开数据集，说明语义漂移问题在大规模、高基数词表（M=8192 vs M=256）上更为严重，PRM 的价值也更大。

在线 A/B 实验

在快手主站和极速版上各分配 2000 万用户，运行 7 天：

  • 快手主站：总使用时长 +0.121%，人均观看时长 +0.440%
  • 快手极速版：总使用时长 +0.131%，人均观看时长 +0.296%

在快手这种体量的平台上，0.1%+ 的使用时长提升是非常显著的业务收益。

Test-Time Scaling 曲线

将 K⁺ 从 1000 增加到 6000 时：

  • HRecall@3@1000 从 22.98% 提升到 36.37%（+58.3%）
  • 主解码器计算量不变（K′ 固定在 1000）
  • 而传统 beam search 扩大搜索宽度（红色三角线）几乎无收益且计算开销线性增长

这条曲线是本文最核心的实验结论——清晰地验证了推荐系统中 test-time scaling law 的存在。

消融实验（语义漂移量化）

论文提出了新指标 HRecall@b@k（第 b 层生成的层级召回率）来量化语义漂移：

  • 无 PRM：HRecall@3@1000 = 22.96%
  • 仅第 1 层用 PRM：29.51%（+28.5%）
  • 全部 3 层用 PRM：33.58%（+46.3%）

证明第一层的 PRM 修正收益最大，符合"早期错误代价最高"的直觉。

5. 局限与未来方向

当前局限

  1. 对层级量化结构的依赖：PROMISE 的核心假设是 Semantic ID 具有从粗到细的层级结构（RQ-VAE / Residual K-means）。对于非层级的物品 ID 编码方案（如 flat hashing），方法不直接适用。
  1. 负样本采样策略较为简单：当前使用均匀随机采样构造负样本，没有利用 hard negative mining。对于语义空间中距离很近但实质不同的物品（如同品牌不同型号），PRM 的区分能力可能有限。
  1. 与 Scheduled Sampling 等训练时方法的对比缺失：论文未充分探讨训练阶段缓解 exposure bias 的经典方法（如 scheduled sampling、curriculum learning）是否能与 PRM 互补。
  1. Scaling Law 的边际递减：从实验曲线看，K⁺ 从 4000 到 6000 的收益明显放缓，更大的 K⁺ 可能面临收益饱和，且内存/延迟成本线性增长。

未来方向

  1. 自适应计算分配：不同用户/请求的语义漂移风险不同（如长尾用户 vs 活跃用户），可以动态调整 K⁺ 实现计算资源的最优分配，类似 LLM 中的 adaptive compute。
  1. 多步 PRM 的联合训练：当前 PRM 对每一层独立打分，未来可以建模层间的依赖关系，实现全局最优的路径规划。
  1. PRM 与强化学习的结合：将 PRM 的逐步反馈信号用于基础推荐模型的 RLHF/DPO 训练，可能同时提升训练质量和推理质量。
  1. 推广到更多生成式任务：如生成式广告创意、生成式查询改写等场景，同样存在层级生成中的漂移问题。

6. 工业实践意义

对推荐系统

  1. "小模型 + 多搜索" 的新范式：这可能是本文对工业界最大的启示。在推理成本受限的场景下，与其部署一个巨大的推荐模型，不如用一个较小的模型 + PRM 引导的更宽搜索——论文证明这种方案在相同 FLOPs 下性能更优。这为推荐系统的模型部署策略提供了全新的 trade-off 空间。
  1. 召回阶段的范式升级：PROMISE 直接作用于生成式召回（candidate generation），在快手的 A/B 实验中已验证端到端收益。对于正在从传统双塔/ANN 召回向生成式召回转型的团队，PRM 是一个值得优先探索的增强方向。
  1. 可插拔的架构设计：PRM 模块仅增加 15% 参数和 10% 延迟，且通过 cross-attention 复用主模型编码器输出，不需要重新训练基础模型。这种即插即用的特性极大降低了工业落地门槛。

对搜索系统

  1. 生成式检索的启示：生成式检索（如 DSI/GENRE/SEAL）同样使用层级 docid 进行自回归生成，面临完全相同的语义漂移问题。PROMISE 的 PRM 思路可以直接迁移到文档检索场景。

对广告系统

  1. 动态计算预算分配：广告系统对延迟极其敏感，但不同广告位的价值差异巨大。可以对高价值广告位分配更大的 K⁺（更多推理计算），对低价值广告位使用较小的 K⁺，实现ROI 最优的计算分配。

更宏观的视角

  1. 推荐系统的 "Inference-Time Compute" 时代：正如 OpenAI 的 o1/o3 系列证明了 LLM 领域 test-time scaling 的价值，PROMISE 为推荐系统开启了同样的范式——不再仅依赖更大的训练模型，而是通过更智能的推理时搜索策略来提升质量。这可能成为继 deep learning、预训练之后，推荐系统的又一个重要技术转折点。

总结：PROMISE 是一篇质量很高的工业论文，来自快手团队的真实系统验证。它不仅提出了一个有效的技术方案（PRM + 引导式 Beam Search），更重要的是建立了生成式推荐与 LLM 推理之间的理论桥梁，为推荐系统打开了 test-time scaling 这一全新的性能提升维度。15% 参数增量、10% 延迟增量换来 40-60% 的召回提升和显著的线上收益，性价比极高。

← 全部深度解读 出现于报告：2026-02-28 · Generative #2 (4.05) 原文 ↗