Beyond Stochastic Exploration: What Makes Training Data Valuable for Agentic Search
当前基于 RL 的搜索 agent 依赖随机探索和精心设计的结果奖励进行训练,导致推理轨迹低效、训练不稳定。本文提出 HiExp(Hierarchical Experience)框架,从训练数据质量而非策略探索角度优化 agentic search 的 RL 训练。核心思路是构建层次化的经验库,分层管理不同粒度的搜索经验,让 agent 从高价值轨迹中学习而非随机采样。该框架显著提升了搜索 agent 在复杂推理任务上的训练效率和最终性能。
INSIGHT本文将 agentic search 训练的瓶颈从「策略优化」转移到「训练数据筛选」,指出不是所有搜索轨迹都有学习价值。HiExp 的层次化经验管理思路对搜索系统的 LLM agent 训练具有直接借鉴意义:在构建搜索 agent 时,与其投入大量算力做随机探索,不如先投资于高质量��索轨迹的收集和分层策略。这一发现改变了 agentic search 训练的优先级排序,值得搜索团队关注。