1. 问题与动机

T²PO 切入的是当下 agentic RL 训练中最普遍的故障：多轮训练崩溃。多轮 RL（agent 与环境多回合交互、检索、工具调用）虽然能显著提升复杂任务的 reasoning 能力，但作者明确指出，即使引入了 fine-grained credit assignment、trajectory filtering 等稳定化技术，训练仍然频繁出现策略坍塌——success rate 突然下降、KL 散度与梯度范数同步爆炸（论文 Figure 1 中可见）。作者把这一现象的根因归结为"hesitation（犹豫）"：在多轮环境下，策略持续生成既不降低不确定性、也不推进任务的 token 与 turn，本质上违反了探索-开发权衡。具体表现为两类失败模式——token 层面：模型在 \<think\> 段中持续 over-thinking，信息增益已饱和但噪声继续累积；turn 层面：agent 早期偏离正轨后仍在执行重复无效的动作，缺少自我纠错通道。这两种 hesitation 反过来给策略梯度带来了不稳定的更新信号和高方差，最终把训练引向崩溃。该工作的目标因此是给 multi-turn agentic RL 提供一个可在工业级管线中即插即用的探索控制机制。

2. 方法详解

T²PO 的核心是一个双层不确定性控制框架，所有组件围绕一个自校准的不确定性信号 M_t 展开。(a) Self-Calibrated Uncertainty Signal：传统熵指标在分布极端（极尖或极平）时会失真，置信度则忽略尾部分布质量；作者把两者归一化后线性融合：M_t = α · H̃_t + (1−α)·(1−C̃_t)，其中 H̃ 与 C̃ 分别是熵与最大概率值在历史窗口内的极值归一化。融合后的 M_t 对 top-k 相同但残余分布不同的两个分布也能区分，提供了"非退化"的几何度量。(b) Token-level Thinking Intervention (TTI)：作者计算 M 的时序变化 Δ^k_t = |M^k_t − M^k_{t−1}|，并定义触发条件——若过去 N+1 个 token 的 Δ 均值低于 ε 或推理长度达到 L_max，则强制注入终止序列：在 logits 上把 \</think\> token id 强制设为 +∞、其他设为 −∞，再注入 [\</think\>, \n, \<action\>] 三个确定 token。一次轨迹只触发一次以避免抖动。值得注意的是该设计选择滑窗均值而非峰值截断——这样能保留分散在多段相邻区间的关键 token，同时抑制持续性高不确定性。(c) Turn-level Dynamical Sampling (TDS)：把 token 级 M 聚合到 turn 级——Φ^k = (∏_t M_t)^(1/T)（几何平均），再取相邻轮次差 Γ^k = |Φ^k − Φ^{k−1}|。若 Γ^k 小于阈值 η，则丢弃当前 turn 的生成、重新采样直到 Γ^k 达标或耗尽预算 B_max。(d) 训练流水线：先用 base model 推 trajectory、按任务分通过率筛出高质量轨迹做 RFT 冷启动；再以严格 format penalty（λ_fmt = 0.1）锚定 \<think\>/\<action\> 结构；最后用 GiGPO-based clipped policy update（含 turn 级 advantage 加权 ω 与 KL 约束 β）进行 RL 阶段优化。(e) 训练设置：基于 verl/HybridFlow 训练框架、8×H100 GPU；学习率 5e-6，rollout group size = 8（Search QA 为 5），memory context = 5 turn，β = 0.99，ε = 0.1, η = 0.15, N = 4。

3. 核心技术贡献

(1) 首次显式区分了 hesitation 与 exploration：以往工作把 over-thinking 视作探索副产品，T²PO 提供了"hesitation 实际上是带噪重复"这一概念性框架，解释了为何 fine-grained credit assignment 等表面手段对训练崩溃无效——它们没有触及探索效率本身。(2) 自校准 M_t 信号设计：在不依赖外部 reward model 的前提下，通过把熵与置信度归一化融合，得到一个对极端分布稳健的本地不确定性度量；相比熵或置信度单一信号，M_t 在 ALFWorld 等长序列任务中展现出更稳定的 trigger 行为。(3) 多尺度同时控制：传统方法要么只在 token 级（reward shaping、entropy regularization）要么只在 turn 级（trajectory filtering）做控制；T²PO 把两层信号统一为同一基础度量 M_t 的不同时间聚合，这是一个工程上的关键洞见——使其能与 GRPO、GiGPO、GSPO 等已有 policy optimizer 即插即用。(4) logit-injection 强制终止：相比 soft reward 引导，T²PO 用 hard logit 写入 \</think\> token id 强行截断；这一设计避免了在 RL 训练阶段引入难以归因的额外 reward 项，从源头上消除了 over-thinking 噪声。

4. 实验结果分析

主结果在三类典型 agentic 环境上：WebShop（Qwen3-4B-RFT 主模型）成功率从 GiGPO baseline 的 73.83% 跃升至 81.64%，task score 86.03 → 93.84，且各 seed 下方差大幅下降。ALFWorld（家庭任务）在 6 个子类中平均提升 8–12 个百分点；Heat & Place 任务从 77.31% → 87.77%。Search QA（多跳）在 MuSiQue 上 EM 达 72.58%，是先前 SOTA 的近两倍，并在 OOD 数据上保持一致增益。Figure 1 直观展示了 baseline 在 200+ 步后开始坍塌——success rate 持续下滑、KL 散度与梯度范数同步爆炸——而 T²PO 训练曲线平稳。Ablation (Table 3, WebShop)：去掉 RFT 冷启动 task score −5.2 / success −3.8%，去掉 TTI −4.1 / −4.2%，去掉 TDS −3.7 / −2.9%——三组件贡献接近，说明它们处理的是不同尺度的 hesitation 噪声而非冗余。效率维度：T²PO 在训练阶段的平均交互轮次减少 25%，相同 token 预算下成功 trajectory 占比显著高于 baseline，揭示了"减少噪声反而提升采样效率"的反直觉效应。表 5 的超参数规模化研究表明 ε ≈ 0.1、η ≈ 0.15、窗口 N = 4 是普适的甜点设置。

5. 局限与未来方向

作者明确指出几点局限：(a) 不确定性度量假设 LLM 输出 logits 是良好校准的——对蒸馏过的小模型或多模态模型可能需要重新调阈值 ε/η；(b) format penalty λ_fmt 写死 0.1，对结构更复杂的 agent（如包含 retrieval、code execution 多种 action 类型）可能不够灵活；(c) 在 Search QA 上 rollout group size 必须降到 5 才稳定，意味着对长序列 RL 仍需进一步并行优化；(d) hard logit injection 会在某些上下文下截断关键 chain-of-thought tokens——如果出现于复杂数学推理任务则可能引入新故障模式，作者未在 GSM8K 类任务上验证。我额外注意到，论文未对"agent 与环境的非确定性反馈"做鲁棒性测试——真实搜索引擎/工具 API 返回的延迟、错误码与 mock 环境差距很大，这些是工业部署时容易踩的坑。

6. 工业实践意义

对国内搜索/推荐 agent 团队，T²PO 提供了几乎零成本的训练加速器：(1) 现有 GRPO/PPO 训练管线无需改架构，只需挂载 token-level monitor 与 turn-level resampler 两个 callback，即可把 multi-turn RL 训练从"经常崩溃"推到"稳定收敛"。(2) 25% 训练交互轮次节省 + 8H100 配置——按当前国内云厂商 H100 时价折算，单次 7B agent RL 训练 wall-clock 时间可减少 1/4，直接降低实验迭代成本。(3) 应用到社区搜索 agent：把"用户复杂查询 → 多次召回-重写-总结"建模为多轮交互，T²PO 的两层 trigger 可避免 agent 反复调用相同关键词检索（token 级 hesitation）以及陷入语义同义改写循环（turn 级 hesitation）。(4) 部署考量：M_t 信号本身只需访问 logits + 滑窗历史，不引入额外推理 pass，对 latency 影响 < 1%；turn 级重采样需要并行 rollout 支撑，需 verl/HybridFlow 或自研 RL 框架适配。(5) 风险点：自定义 \</think\> token id（论文用 151668）依赖 tokenizer，移植到 Qwen 之外的家族（如 LLaMA、DeepSeek-R1）需重新映射；同时建议先在小规模任务验证 ε/η 阈值，再放到生产 RL 训练。