将搜索 Agent 训练从单次 episode 学习扩展到跨 episode 元学习，这一思路对搜索系统有深刻启示：传统搜索排序模型只学习单次 query-doc 匹配，而 MR-Search 展示了让模型从历史搜索 session 中积累经验的可行路径。对社区搜索场景，可借鉴其自我反思机制来优化 query 理解和结果重排，特别是处理模糊 UGC 查询时的迭代检索。
问题与动机
基于 RL 的搜索 Agent 面临稀疏奖励下的信用分配困难和探索效率低下问题。标准方法将每个搜索轮次视为独立 episode，无法跨轮次学习和改进策略。使用过程奖励模型（PRM）需要昂贵的外部标注且存在奖励黑客风险。
方法概述
MR-Search 将搜索 Agent 建模为跨 episode 的元学习：每个 episode 结束后生成显式自反思，作为后续尝试的上下文。通过跨 episode 条件化策略实现「学会学习」搜索策略。多轮 RL 算法提供 episode 级别的细粒度信用分配。
核心技术贡献
- 上下文内元 RL 框架：Agent 条件化于历史 episode 和自反思，无需环境反馈即可在推理时改进
- 多轮优势估计：无需评论家网络，通过分组相对优势在 episode 级别计算折扣累积优势
- 显式自反思机制：每个完整轨迹后生成反思总结，为后续尝试提供结构化改进信号
- 免过程奖励的训练：无需外部标注，仅用结果奖励即可训练高效搜索策略
实验结果分析
- 8 个基准：NQ/TriviaQA/PopQA（单跳）+ HotpotQA/2WikiMultiHopQA/Musique/Bamboogle（多跳）+ ASearcher（合成）
- Qwen2.5-7B：NQ 上 50.2% vs Search-R1 基线 45.9%；平均相对提升 9.2%
- 3B 模型：相对提升达 19.3%
- 超越过程奖励方法：优于使用外部过程奖励的 StepResearch 和 PPRM
- 测试时扩展：随反思轮次增加性能持续提升（基线方法则趋于饱和）
- 消融：折扣因子移除导致性能下降；提出的优化一致优于 PPO 和 MT-GRPO 变体
局限与未来方向
未在长文本生成任务上评测；仅限固定 Wikipedia 搜索工具，异构工具的可扩展性未探索；训练需要 8×H100 GPU。
工业实践意义
MR-Search 为搜索 Agent 训练提供了免标注的元 RL 范式。自反思机制实现了测试时的持续改进——每次搜索失败都成为下次的学习信号。这对构建社区搜索中的 deep research 功能（多步搜索→总结→再搜索）具有直接参考价值。来自 Allen AI 和华盛顿大学的研究。