PRAISE: Prefix-Based Rollout Reuse in Agentic Search Training
Agentic Search RL 训练有两大痛点:长程 rollout 计算昂贵但利用率低,且只有最终答案有奖励、信号稀疏。PRAISE 提出“前缀复用”:从一条完整的搜索轨迹中抽取不同搜索轮次的前缀状态,用模型补出每个前缀的中间答案,从而 (1) 把同一条 rollout 切成多条训练样本,(2) 用前缀间的性能差作为 step-level reward。在多跳 QA 任务上,PRAISE 在不增加额外采样开销的前提下显著提升了样本效率与训练稳定性。
INSIGHT“RL 训练 Agent 太贵、奖励太稀疏”是 Search-R1 路线的两个核心瓶颈,PRAISE 用一个简单优雅的工程技巧同时缓解:每条轨迹被截成多个前缀,并通过中间答案差分构造 step-level reward。对生产团队的启示是——在做 Agent RL 时不必盲目堆砌轨迹采样,而应充分挖掘已有 rollout 的中间状态,把“最终对错”切分成可分配到每一步的密集奖励,这一思路也可迁移到推荐重排、复杂会话搜索等长程决策训练中。