Stabilizing Efficient Reasoning with Step-Level Advantage Selection
高效推理 LLM 在短上下文下做 GRPO 后训练能自动压缩推理长度,但训练动态会越来越不稳,准确率下滑。作者把不稳定原因归结为:截断与验证器误判会让正确答案被错误反传梯度,常规 GRPO 把句段级 advantage 一刀切到所有 token。论文提出 SAS(Step-level Advantage Selection),在每个推理步上根据置信度细粒度地选择是否回传 advantage——对正确轨迹中的低置信步置零 advantage,对验证失败轨迹中的高置信步置零 advantage,从而过滤截断/验证噪声。在数学与代码推理基准上 SAS 在大幅压缩推理长度的同时保持或提升准确率,训练曲线显著更平滑。
INSIGHTRL 后训练里「token 全部用同一 advantage」是一个隐藏的稳定性陷阱,这在 search Agent 的工具调用 RL 训练中同样存在。论文揭示:失败 rollout 中真正错误的不是所有 token,而是少量关键决策步;用置信度做轨迹内 step-level 过滤是一个比奖励 reshape 更直接的稳定化手段。对实际部署的启示:训练搜索 Agent 时不要一刀切惩罚整个轨迹,可以借助置信度或 verifier 信号识别真正出错的子步骤,否则 RL 训练会逐步退化。