Self-Distilled Agentic Reinforcement Learning
针对 RL 训练多轮 agent 时轨迹级奖励监督过于稀疏、而直接叠加 On-Policy Self-Distillation (OPSD) 会因多轮不稳定而崩溃的问题,提出 SDAR:把 OPSD 当作一个「门控辅助目标」,RL (GRPO) 仍是主干优化;将脱离梯度的 token 级信号映射为 sigmoid 门,对 teacher 认可的正差距 token 加强蒸馏、对 teacher 否定项软性衰减。在 Qwen2.5/Qwen3 上、ALFWorld/WebShop/Search-QA 三个任务,相比 GRPO 分别提升 +9.4%、+10.2%(WebShop-Acc)、+7.0%(Search-QA),且避免了朴素 GRPO+OPSD 的训练不稳定。
INSIGHT对搜索 agent 训练的启示:轨迹级 reward(只看最终答对没答对)对多轮检索-推理的中间步骤几乎没有指导,SDAR 用一个带门控的 token 级蒸馏信号补足密集监督,且通过 sigmoid 门区分对待「teacher 认可」与「teacher 否定」——后者可能源于检索/技能利用不完美,不能一味惩罚。Search-QA +7.0% 说明该框架能直接迁移到检索问答型 agent;门控设计是把辅助蒸馏稳定接入 RL 主干的关键工程技巧。