ToolRLA: Multiplicative Reward Decomposition for Tool-Integrated Agents
提出 ToolRLA 三阶段后训练流水线(SFT->GRPO->DPO),用细粒度乘法式 reward 分解训练工具调用 Agent。
INSIGHT工具调用 Agent 的 RL 对齐关键在于 reward 设计:将粗粒度的二元奖励分解为格式/选择/参数/执行四个维度的乘法组合,任一维度出错即零奖励。这种设计可迁移到搜索 Agent 的 API 调用质量优化。
业务关联社区搜索若引入 Agent 进行多步检索(如先分析 query 意图、再选择不同检索 API、最后聚合结果),ToolRLA 的细粒度 reward 分解方案可有效提升 Agent 的工具选择和参数填充准确率。
证据在 ToolBench 上 ToolRLA 将工具调用正确率从 62.4% 提升至 78.9%(+16.5pp),参数精确匹配率从 45.7% 提升至 71.3%(+25.6pp);三阶段训练中 DPO 阶段贡献最大提升。