Environments as Scaffold: Enriching Feedback to Bootstrap Self-Evolving Agents in Long-Horizon Tasks
论文通过改造训练环境缓解长程 Agent 的稀疏奖励:前期提供行动提示,后期丰富工具观察,并逐渐让策略内化这些信息。Qwen3-4B 配合 DAPO 时,BFCL 与 SciWorld 的平均分从 43.88 升至 47.81;Qwen3-8B 配合 GSPO 时从 41.78 升至 46.39,但部分子任务出现退步。
INSIGHT训练社区搜索 Agent 时,可先帮助它识别合法检索动作,再提供命中状态、证据缺口等可验证反馈,最后在无提示环境测试迁移。原文强调同组样本反馈的一致性,否则会干扰相对优势估计。应同时监控任务成功率、搜索次数和长上下文退化,避免只根据平均收益扩大上线范围。