PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations
首次在生成式推荐中验证了 Test-Time Scaling Laws，提出 PRM 引导的 Beam Search 让小模型通过增加推理计算超越大模型。
INSIGHT生成式推荐中 Semantic ID 的层级生成与 LLM 的 Chain-of-Thought 推理存在结构性类比——早期生成错误会导致「语义漂移」，而过程奖励模型 (PRM) 可在每一步修剪错误分支，这为推荐系统的推理时扩展提供了全新范式。
业务关联对搜索排序系统而言，test-time scaling 意味着可以用较小模型+更多推理计算来替代大模型部署，在保持效果的同时显著降低在线服务成本，适合对延迟敏感的社区搜索场景。
证据离线实验表明小模型通过 PRM 引导搜索可超越更大基线模型；已在真实线上推荐系统中验证有效；首次在生成式推荐领域建立了鲁棒的推理时计算-性能幂律关系。
Now I have sufficient detail. Let me compose the deep reading.
PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations — 深度解读
1. 问题与动机
本文瞄准的核心问题是生成式推荐中的"语义漂移"（Semantic Drift）。
在当前主流的生成式推荐范式中，物品被编码为多层的 Semantic ID（通常通过 RQ-VAE 或 Residual K-means 量化得到），推荐模型像语言模型一样，自回归地逐层生成这些 token。问题在于：早期高层 token 一旦生成错误，后续所有 token 都会被不可逆地带入错误的语义子空间——就像 Chain-of-Thought 推理中第一步逻辑错了，后面所有推导都跑偏了。
这一问题的根源是经典的 Exposure Bias：模型在训练时使用 teacher forcing（每步看到正确输入），但推理时要依赖自身上一步的预测，一旦犯错便缺乏纠错机制。传统的 beam search 仅依据模型自身的 likelihood 打分，无法有效识别和修剪偏离正确语义空间的候选路径。
为什么这个问题重要？ 在工业级推荐系统中（如快手，日活 4 亿+，物品库 1 亿+），语义漂移直接导致召回率大幅下降。论文实验表明，在没有 PRM 的情况下，第三层生成的 HRecall@3@1000 仅 22.96%，意味着超过 3/4 的候选在生成过程中已经偏离了正确的语义空间。
2. 方法概述
PROMISE 的核心思路可以用一句话概括：借鉴 LLM 推理中的 Process Reward Model (PRM) 思想，为生成式推荐的每一步中间生成结果提供密集的过程级反馈，通过 PRM 引导的 Beam Search 实现推理时扩展（Test-Time Scaling）。
整体框架包含两个关键组件：
(1) Path-Level PRM（路径级过程奖励模型）
一个轻量级的注意力模块，在 Semantic ID 生成的每一层（而非仅最终结果）对候选路径进行打分。具体结构为：
- 使用 Cross-Attention 机制复用主编码器的输出（不需要重新编码用户序列）
- F 层堆叠架构 + MLP 打分头
- 使用 InfoNCE loss 在正样本（ground-truth 物品的 Semantic ID 前缀）和负样本（随机采样的有效路径）上进行对比学习训练
(2) PRM-Guided Beam Search
在推理时执行改进的 Beam Search：
- 每一步先将候选集从 K 扩展到 K⁺ 个候选 token（K⁺ >> K）
- 用 PRM 对 K⁺ 个候选打分，选出 Top-K′ 进入下一步（K′ = K，保持解码器计算量不变）
- 关键洞察：扩大 K⁺ 只增加 PRM 的轻量计算，不增加主解码器的计算开销
3. 核心技术贡献
贡献一：首次建立"推理时扩展"在推荐系统中的理论联系
论文提出了一个重要的结构性类比：
| LLM 推理 | 生成式推荐 |
|---|---|
| Token 序列 | Semantic ID 层级序列 |
| Chain-of-Thought 步骤 | 从粗粒度到细粒度的量化层 |
| 推理错误传播 | 语义漂移 |
| PRM 逐步验证 | 逐层路径打分 |
这不是简单的方法迁移，而是揭示了两个看似不同领域之间的深层结构同构。
贡献二：PRM vs ORM 的关键区别
与仅在最终结果上给出监督信号的 Outcome Reward Model (ORM) 不同，PRM 提供密集的逐步反馈（dense, step-by-step feedback）。在 Semantic ID 的层级结构中，第一层编码粗粒度语义（如"运动鞋" vs "连衣裙"），后续层逐步精细化。PRM 可以在第一层就修剪掉偏离正确大类的候选，避免后续计算浪费在注定错误的分支上。
贡献三：计算-性能解耦的 Scaling 方案
传统提升推荐质量的方式是增大模型参数（training-time scaling），而 PROMISE 通过增加推理时的搜索宽度 K⁺ 实现性能提升（test-time scaling），且主解码器计算量保持不变。论文证明：在达到相同性能水平时，test-time scaling 比 parameter scaling 节省 30-40% 的 FLOPs。
贡献四：极轻量的工程设计
- PRM 仅增加主模型 15% 的参数量
- 使用主模型 1/4 的注意力头
- 采用 Radix Top-K 优化加速 GPU 计算
- 端到端推理延迟仅增加 10%
4. 实验结果分析
公开数据集（Amazon Review）
在 Sports/Outdoors 数据集上，相较 ActionPiece 基线：
- Recall@5 提升 +42.41%
- NDCG@5 提升 +44.39%
在 Beauty 数据集上提升相对温和（Recall@5 +4.90%），可能因为 Beauty 品类的语义空间更为紧凑，语义漂移问题不那么严重。
工业级数据集（快手）
在 1 亿+ 物品、500 亿日交互的规模上，相较 GRank 基线（K⁺=6000）：
- Recall@100 提升 +59.31%（0.1609 vs 0.1010）
- NDCG@100 提升 +40.47%（0.00663 vs 0.00472）
- Recall@500 提升 +25.92%（0.3017 vs 0.2396）
工业数据集上的提升远大于公开数据集，说明语义漂移问题在大规模、高基数词表（M=8192 vs M=256）上更为严重，PRM 的价值也更大。
在线 A/B 实验
在快手主站和极速版上各分配 2000 万用户，运行 7 天：
- 快手主站：总使用时长 +0.121%，人均观看时长 +0.440%
- 快手极速版：总使用时长 +0.131%，人均观看时长 +0.296%
在快手这种体量的平台上，0.1%+ 的使用时长提升是非常显著的业务收益。
Test-Time Scaling 曲线
将 K⁺ 从 1000 增加到 6000 时：
- HRecall@3@1000 从 22.98% 提升到 36.37%（+58.3%）
- 主解码器计算量不变（K′ 固定在 1000）
- 而传统 beam search 扩大搜索宽度（红色三角线）几乎无收益且计算开销线性增长
这条曲线是本文最核心的实验结论——清晰地验证了推荐系统中 test-time scaling law 的存在。
消融实验（语义漂移量化）
论文提出了新指标 HRecall@b@k（第 b 层生成的层级召回率）来量化语义漂移：
- 无 PRM：HRecall@3@1000 = 22.96%
- 仅第 1 层用 PRM：29.51%（+28.5%）
- 全部 3 层用 PRM：33.58%（+46.3%）
证明第一层的 PRM 修正收益最大，符合"早期错误代价最高"的直觉。
5. 局限与未来方向
当前局限
- 对层级量化结构的依赖：PROMISE 的核心假设是 Semantic ID 具有从粗到细的层级结构（RQ-VAE / Residual K-means）。对于非层级的物品 ID 编码方案（如 flat hashing），方法不直接适用。
- 负样本采样策略较为简单：当前使用均匀随机采样构造负样本，没有利用 hard negative mining。对于语义空间中距离很近但实质不同的物品（如同品牌不同型号），PRM 的区分能力可能有限。
- 与 Scheduled Sampling 等训练时方法的对比缺失：论文未充分探讨训练阶段缓解 exposure bias 的经典方法（如 scheduled sampling、curriculum learning）是否能与 PRM 互补。
- Scaling Law 的边际递减：从实验曲线看，K⁺ 从 4000 到 6000 的收益明显放缓，更大的 K⁺ 可能面临收益饱和，且内存/延迟成本线性增长。
未来方向
- 自适应计算分配：不同用户/请求的语义漂移风险不同（如长尾用户 vs 活跃用户），可以动态调整 K⁺ 实现计算资源的最优分配，类似 LLM 中的 adaptive compute。
- 多步 PRM 的联合训练：当前 PRM 对每一层独立打分，未来可以建模层间的依赖关系，实现全局最优的路径规划。
- PRM 与强化学习的结合：将 PRM 的逐步反馈信号用于基础推荐模型的 RLHF/DPO 训练，可能同时提升训练质量和推理质量。
- 推广到更多生成式任务：如生成式广告创意、生成式查询改写等场景，同样存在层级生成中的漂移问题。
6. 工业实践意义
对推荐系统
- "小模型 + 多搜索" 的新范式：这可能是本文对工业界最大的启示。在推理成本受限的场景下，与其部署一个巨大的推荐模型，不如用一个较小的模型 + PRM 引导的更宽搜索——论文证明这种方案在相同 FLOPs 下性能更优。这为推荐系统的模型部署策略提供了全新的 trade-off 空间。
- 召回阶段的范式升级：PROMISE 直接作用于生成式召回（candidate generation），在快手的 A/B 实验中已验证端到端收益。对于正在从传统双塔/ANN 召回向生成式召回转型的团队，PRM 是一个值得优先探索的增强方向。
- 可插拔的架构设计：PRM 模块仅增加 15% 参数和 10% 延迟，且通过 cross-attention 复用主模型编码器输出，不需要重新训练基础模型。这种即插即用的特性极大降低了工业落地门槛。
对搜索系统
- 生成式检索的启示：生成式检索（如 DSI/GENRE/SEAL）同样使用层级 docid 进行自回归生成，面临完全相同的语义漂移问题。PROMISE 的 PRM 思路可以直接迁移到文档检索场景。
对广告系统
- 动态计算预算分配：广告系统对延迟极其敏感，但不同广告位的价值差异巨大。可以对高价值广告位分配更大的 K⁺（更多推理计算），对低价值广告位使用较小的 K⁺，实现ROI 最优的计算分配。
更宏观的视角
- 推荐系统的 "Inference-Time Compute" 时代：正如 OpenAI 的 o1/o3 系列证明了 LLM 领域 test-time scaling 的价值，PROMISE 为推荐系统开启了同样的范式——不再仅依赖更大的训练模型，而是通过更智能的推理时搜索策略来提升质量。这可能成为继 deep learning、预训练之后，推荐系统的又一个重要技术转折点。
总结：PROMISE 是一篇质量很高的工业论文，来自快手团队的真实系统验证。它不仅提出了一个有效的技术方案（PRM + 引导式 Beam Search），更重要的是建立了生成式推荐与 LLM 推理之间的理论桥梁，为推荐系统打开了 test-time scaling 这一全新的性能提升维度。15% 参数增量、10% 延迟增量换来 40-60% 的召回提升和显著的线上收益，性价比极高。