PaperScout: An Autonomous Agent for Academic Paper Search with Process-Aware Sequence-Level Policy Optimization
PaperScout 将学术论文搜索重构为序列决策过程,agent 根据已积累的检索上下文动态决定何时、如何调用搜索和扩展工具。提出 Proximal Sequence Policy Optimization (PSPO),一种过程感知的序列级策略优化方法,解决了标准 RL 在多轮 agent 任务中 token 级优化与序列级交互的粒度不匹配问题,在多个学术搜索基准上显著优于静态工作流。
INSIGHTPSPO 的核心创新在于将多轮 agent 交互视为序列级决策而非 token 级决策,避免了 GRPO 等方法在长轨迹上信用分配的困难。这种序列级 RL 优化思路对搜索推荐场景中的多轮检索 agent(如多轮 query 改写、迭代召回)具有直接借鉴意义。