SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents
用 RL 训练多轮工具调用 agent 时,训练任务分布在训练前就固定,会与策略不断演化的能力错配,大量 rollout 浪费在无信息量的任务上。SENTINEL 是 failure-driven RL 框架,把 Solver 的 rollout 失败转化为针对性训练任务,采用 Controller-Proposer-Solver 流程:Controller 分析失败轨迹归纳反复出现的错误模式,Proposer 生成专门压这些弱点的可执行任务,Solver 在这些任务上训练。在 Tau2-Bench Retail 用 Qwen3-4B-Thinking-2507,Pass@1 从 66.4 提升到 74.9,并在 Pass@k 各档优于在通用合成任务上做 RL。
INSIGHT模型自身的失败是高质量、可扩展的训练信号来源——与其预先固定任务集,不如让课程随策略弱点动态生成。Controller-Proposer-Solver 的诊断-出题-训练循环可迁移到搜索 agent 的 RL:从线上失败 query 与检索轨迹中归纳错误模式,自动生成针对性训练样本,比静态数据集更贴合当前模型瓶颈,也更省 rollout。