Beyond Function Calling: Benchmarking Tool-Using Agents under Tool-Environment Unreliability
LLM 越来越多作为 agent 通过调用外部工具环境完成任务,但现有工具使用基准大多假设工具环境干净、稳定、可信,对工具环境的不可靠性考察不足。论文提出 ToolBench-X,评测 agent 在“可恢复”可靠性风险下的表现:包含跨多领域的可执行多步任务,覆盖串行、并行、混合工作流,每个任务配确定性工具和唯一标准答案以便自动评测。从干净环境出发注入五类结构化风险——规格漂移、调用错误、执行失败、输出漂移、跨源冲突,且每个注入实例仍可解。
INSIGHT现实里搜索/工具 agent 调的 API 会超时、返回脏数据、不同源给冲突答案,ToolBench-X 把这些“可恢复风险”做成可控注入的基准,比干净环境基准更贴近生产。五类风险(尤其跨源冲突、输出漂移)正是社区搜索接多路召回/外部服务时的常见故障;用它压测能暴露 agent 在工具不可靠时是硬崩还是能恢复,是上线前 robustness 评估的实用工具。