Enhancing LLM-based Search Agents via Contribution Weighted Group Relative Policy Optimization
该论文提出 CW-GRPO(Contribution Weighted Group Relative Policy Optimization),将过程监督引入搜索智能体的强化学习训练。核心思路是在每一轮搜索交互中,利用 LLM 判断器评估检索效用和推理正确性,生成逐轮贡献分数,实现细粒度的信用分配。这解决了传统 GRPO 只能在最终结果上计算奖励的稀疏反馈问题。在多个知识密集型基准上分别取得 5.0% 和 6.3% 的性能提升。已被 ACL 2026 录用。
INSIGHTCW-GRPO 的关键创新在于将搜索 Agent 的每一步操作(发起搜索、选择结果、推理整合)都纳入奖励建模,而非仅对最终答案打分。这对构建可训练的搜索 Agent 有两个重要启示:(1) 过程监督比结果监督更适合多步搜索场景——agent 可能在某一步做了正确检索但后续推理失误,逐步贡献分数能准确归因;(2) 使用 LLM 作为判断器进行自动过程评估,避免了人工标注过程奖励的高成本。该方法可直接迁移到 agentic RAG 系统的策略优化中。