PivotRL: High Accuracy Agentic Post-Training at Low Compute Cost
长链路 agent 任务的后训练面临效率与泛化的矛盾:SFT 高效但 OOD 退化,端到端 RL 泛化好但算力消耗大。PivotRL 提出在现有 SFT 轨迹上操作的新框架,通过两个关键创新——轨迹中的「关键决策点」识别和局部 RL 微调——将 SFT 的效率与端到端 RL 的泛化能力结合。在 agentic 基准测试中以极低计算成本达到接近 E2E RL 的精度。
INSIGHT找到轨迹中的「关键决策点(pivot)」并仅对这些节点做 RL 微调,是一种极其务实的 agent 训练策略。这避免了长链路完整 rollout 的高昂成本,同时保持了 RL 的探索优势。对搜索/推荐系统中需要多步决策的 agent(如多轮检索、对话推荐)有直接的训练范式借鉴——可先用 SFT 初始化,再用 PivotRL 精调关键步骤。