RAPO: Expanding Exploration for LLM Agents via Retrieval-Augmented Policy Optimization
RAPO 提出检索增强的策略优化框架,解决传统 Agentic RL 训练中探索受限于自生成输出的问题。核心包含两个阶段:混合策略 rollout 阶段让 Agent 在检索到的 off-policy 轨迹上进行推理,检索感知优化阶段通过奖励校准稳定训练过程。在 14 个数据集上实现平均 5% 的准确率提升,训练速度提高 1.2 倍。
INSIGHTRAPO 的核心贡献在于打破了 Agent RL 训练中的「自我探索瓶颈」——通过检索历史优质轨迹扩展探索空间,这一思路可直接应用于搜索 Agent 的在线学习场景。对于搜索推荐系统而言,off-policy trace 的复用机制可降低线上探索成本,奖励校准机制则有助于解决搜索场景中奖励信号稀疏的问题。14 个数据集的广泛验证和 1.2x 训练加速使其具备较强的工程落地价值。