问题与动机
基于 RL 的搜索 Agent 面临稀疏奖励下的信用分配困难和探索效率低下问题。标准方法将每个搜索轮次视为独立 episode,无法跨轮次学习和改进策略。使用过程奖励模型(PRM)需要昂贵的外部标注且存在奖励黑客风险。
方法概述
MR-Search 将搜索 Agent 建模为跨 episode 的元学习:每个 episode 结束后生成显式自反思,作为后续尝试的上下文。通过跨 episode 条件化策略实现「学会学习」搜索策略。多轮 RL 算法提供 episode 级别的细粒度信用分配。
核心技术贡献
- 上下文内元 RL 框架:Agent 条件化于历史 episode 和自反思,无需环境反馈即可在推理时改进
- 多轮优势估计:无需评论家网络,通过分组相对优势在 episode 级别计算折扣累积优势
- 显式自反思机制:每个完整轨迹后生成反思总结,为后续尝试提供结构化改进信号
- 免过程奖励的训练:无需外部标注,仅用结果奖励即可训练高效搜索策略
实验结果分析
- 8 个基准:NQ/TriviaQA/PopQA(单跳)+ HotpotQA/2WikiMultiHopQA/Musique/Bamboogle(多跳)+ ASearcher(合成)
- Qwen2.5-7B:NQ 上 50.2% vs Search-R1 基线 45.9%;平均相对提升 9.2%
- 3B 模型:相对提升达 19.3%
- 超越过程奖励方法:优于使用外部过程奖励的 StepResearch 和 PPRM
- 测试时扩展:随反思轮次增加性能持续提升(基线方法则趋于饱和)
- 消融:折扣因子移除导致性能下降;提出的优化一致优于 PPO 和 MT-GRPO 变体
局限与未来方向
未在长文本生成任务上评测;仅限固定 Wikipedia 搜索工具,异构工具的可扩展性未探索;训练需要 8×H100 GPU。
工业实践意义
MR-Search 为搜索 Agent 训练提供了免标注的元 RL 范式。自反思机制实现了测试时的持续改进——每次搜索失败都成为下次的学习信号。这对构建社区搜索中的 deep research 功能(多步搜索→总结→再搜索)具有直接参考价值。来自 Allen AI 和华盛顿大学的研究。