该工作揭示了一个关键发现：单纯的强化学习（RLVR）不足以让 Agent 学会充分探索工具空间，合成计划提供的多样化轨迹可以有效缓解探索不足问题。这对构建搜索 Agent 有直接启示——可通过构造包含多种查询策略和信息源组合的合成轨迹来初始化训练，避免 Agent 陷入固定的搜索模式。该方法也为基于 RL 的搜索 Agent 训练提供了一条可行的冷启动路径。
问题与动机
深度研究 Agent（Research Agent）需要通过动态交织内部推理与外部工具使用来回答用户查询。理论上，强化学习（RLVR，基于可验证奖励的 RL）可以训练这种能力，但实践中 Agent 常表现出严重的探索行为不足：提前终止（过早结束搜索）和工具使用偏差（偏好某些工具模式）。这导致 RLVR 单独训练时效果有限。如何让 Agent 在训练早期就学会多样化地使用工具，是当前 RL 训练搜索 Agent 的核心挑战。
方法概述
SynPlanResearch-R1 提出了一个两阶段训练框架：
- 计划引导的数据合成（Plan-guided Synthesis）：用于冷启动阶段的 SFT 数据生成
- 工具计划构造：生成随机化的工具动作序列（web_search, crawl_webpage），长度从 [3,8] 采样
- 线索注入思维（Cue-injected Thoughts）：在推理步骤中插入动作特定的提示，引导模型行为但不硬性约束
- 过滤：仅保留答案正确且格式有效的轨迹
- 思维重写：使用 Claude 将合成线索改写为自然语言
- 强化学习：使用 GRPO（Group Relative Policy Optimization）进行 80 步训练
核心技术贡献
- 揭示了 RLVR 的探索瓶颈：系统性地证明了纯 RL 训练在搜索 Agent 场景下的探索不足问题，包括提前终止和工具偏差两种失败模式
- 合成计划引导机制：通过构造多样化的工具使用轨迹，将探索策略显式编码到 SFT 阶段，有效引导后续 RL 训练
- 线索注入思维：创新性地在 ReAct 框架中插入动作特定线索，将计划遵循率从 28.32% 提升至 76.96%
- 冷启动策略：提供了从合成数据到 RL 训练的完整冷启动路径
实验结果分析
实验设置：7 个基准（HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle, GPQA, WebWalkerQA, GAIA），基座模型 Qwen3-8B 和 Qwen3-4B，合成使用 Qwen3-32B。
主要结果（F1 指标）：
- Qwen3-8B：平均 F1 = 0.580，优于 SimpleDeepSearcher (0.547, +6.0%)、Search-R1 (0.512, +13.3%)、Rejection Sampling (0.464, +25.0%)
- Qwen3-4B：平均 F1 = 0.529，优于 SimpleDeepSearcher (0.500, +5.8%)、Search-R1 (0.462, +14.5%)
消融实验：
- 去掉探索采样：性能下降 0.058（最关键组件）
- 去掉线索注入：性能下降 0.041
- 减少 max_turns (8→6)：性能下降 0.026
工具使用分析：合成计划使平均工具调用次数从 1.40（vanilla ReAct）提升到 4.36，且在 RL 训练全程保持更高的策略熵。
局限与未来方向
- 当前仅验证了 Qwen3 系列模型，对其他 LLM 架构的泛化性有待验证
- 合成计划的质量依赖于 Qwen3-32B 教师模型的能力
- 计划长度的采样范围 [3,8] 是手动设定的，可能需要根据任务复杂度自适应调整
- 尚未在更大规模模型（如 70B+）上验证效果
工业实践意义
- 搜索 Agent 训练范式：为 RL 训练搜索 Agent 提供了明确的冷启动策略——先用合成轨迹初始化，再用 RL 优化。这比直接从零开始 RL 训练高效得多
- 工具探索设计：揭示了工具调用数量与性能正相关的规律，提示在搜索 Agent 设计中应鼓励更多的探索行为，而非追求最少步骤完成任务
- 数据效率：仅需 8k 合成 SFT 样本 + 约 10k RL 样本即可显著提升性能，训练成本可控
- 框架通用性：该框架不限于搜索场景，可推广到任何需要多步工具使用的 Agent 训练