AutoTool: Automatic Scaling of Tool-Use Capabilities in RL via Decoupled Entropy Constraints
AutoTool 解决了 RL 驱动的工具使用扩展中的两大核心挑战:模型对简单问题过度思考(token 浪费)和对复杂问题推理不足(搜索深度不够)。该方法引入解耦熵约束(Decoupled Entropy Constraints),在 RL 训练时分别约束简单与复杂任务的推理长度,配合热启动 SFT 使模型掌握工具调用的基本格式,再通过 RL 自动学习何时以及如何扩展工具调用深度。实验结果显示,在工具使用基准测试上比 SOTA 方法提升约 6-10 个百分点,同时减少约 30% 的 token 使用量。
INSIGHTAutoTool 的关键技术洞察是「思维长度」与「工具调用深度」需要分离控制:简单查询不应消耗大量 tokens 进行反思,而复杂查询需要足够的推理空间来设计工具调用序列。对于搜索系统中的 LLM agent(如查询改写 agent、多轮检索 agent),这一方法可直接应用于提升推理效率:通过分难度自适应控制推理长度,实现同等效果下 30% 的计算节省,具有明显的工业部署价值。微软研究院出品,代码可复现性高。