Exploring Reasoning Reward Model for Agents
提出 Agent-RRM 多维奖励模型,为 Agent 轨迹生成推理链、针对性批评和过程评分三层结构化反馈。
INSIGHT当前 Agentic RL 主要依赖稀疏的结果奖励,无法区分中间推理质量。Agent-RRM 通过多层反馈信号(推理链 + 缺陷批评 + 过程评分)提供细粒度的过程监督,显著提升 Agent 在复杂工具调用和搜索任务上的表现。
业务关联在搜索场景中训练 Agent 进行多步检索和推理时,细粒度的过程奖励模型可替代粗粒度的结果奖励,有助于提升搜索 Agent 的检索策略学习效率和最终答案质量。
证据在 12 个基准测试上评估,GAIA 达到 43.7%,WebWalkerQA 达到 46.2%,相比纯结果奖励的 Agentic RL 方法有显著提升。