Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization
提出 EMPO² 混合策略优化框架,用记忆增强 LLM Agent 的探索能力。
INSIGHTLLM Agent 的核心瓶颈在于探索,通过记忆增强的混合 on/off-policy RL 方案可显著提升 Agent 在陌生环境中的任务完成率,且在 OOD 场景下仅需少量试验即可适应。
业务关联搜索场景中 Agent 需要在未知 query 分布下自主探索检索策略,EMPO² 的记忆增强探索机制可用于训练搜索 Agent 应对长尾 query。
证据在 ScienceWorld 上相比 GRPO 提升 128.6%,在 WebShop 上提升 11.3%;OOD 测试中无需参数更新即可适应新任务。