T^2PO: Uncertainty-Guided Exploration Control for Stable Multi-Turn Agentic Reinforcement Learning
本文针对多轮 agentic RL 训练崩溃问题,提出 Token- and Turn-level Policy Optimization(T²PO)。作者将训练不稳定归因于多轮场景中的低信息探索:策略反复生成既不降低不确定性也不推进任务的 token 与 turn。T²PO 在 token 级监控边际不确定性变化,一旦低于阈值就触发思考干预,强制重写探索方向;在 turn 级识别探索停滞的交互并进行动态重采样,避免无效轨迹消耗 rollout 预算。这一双层不确定性控制框架可显著缓解多轮 RL 训练中的策略坍塌。
INSIGHT对搜索/推荐 agent 训练的启示:多轮 agentic RL 在召回-排序-改写循环中常见崩溃原因是无效探索——重复发出已检索过的相似查询、生成低增益分析。T²PO 用边际不确定性变化作为触发器,是非常通用的训练加速器,可直接接入现有 GRPO/PPO 工业管线。turn 级动态重采样思想等价于放弃低 ROI 的对话分支并把预算让给高潜路径,对训练搜索 agent 具有零成本工程价值。