Reinforcing Agentic Search Via Reward Density Optimization
论文把 Agentic Search 的训练瓶颈归因于奖励稀疏:长链路探索付出很大,却通常只在最终答案处得到反馈。InfoFlow 将奖励密度优化拆成三部分:用子目标脚手架分解长任务并提供过程奖励,用路径提示修正停滞轨迹,再用双 Agent 分担深度探索。作者在多个搜索基准上报告其超过强基线,并让轻量模型达到接近先进闭源模型的表现。
INSIGHT这套设计适合把搜索 Agent 的训练目标从“答对/答错”细化为查询改写、证据覆盖、冲突核验和停止决策等可观测子目标。对 UGC 搜索,可将错误点击、短停留和无结果回退变成过程级反馈,但要限制路径提示的偏置,并单独评估多 Agent 带来的调用成本。