Process Rewards with Learned Reliability
现有过程奖励模型(PRM)每步只输出一个分数,下游只能把不完美的步级预测当作可靠信号。BetaPRM 是一个分布式 PRM,同时预测步级成功概率与该预测的可靠性:基于 Monte Carlo 续采的步级成功监督,用 Beta-Binomial 似然学习 Beta 信念,而非回归到有限样本成功率的点目标。基于此可靠性信号提出 Adaptive Computation Allocation(ACA):在高奖励解可靠时停止、对不确定前缀追加算力。在 4 个 backbone × 4 个推理 benchmark 上提升 PRM 引导的 Best-of-N,ACA 相比固定预算 Best-of-16 在提升答案准确率的同时最多省 33.57% token。
INSIGHTPRM 输出'分数+可信度'比单点分数更有用——可信度让下游区分'该信的奖励'和'不确定的奖励',从而按需分配算力。这对 agentic 搜索/RL 的奖励设计有直接借鉴:步级奖励本身带噪,显式建模奖励不确定性可避免在错误中间步上浪费搜索预算。社区搜索若用 LLM 重排+Best-of-N,可用类似可靠性门控做自适应早停,省成本。