SilentProbe: Measuring Silent Failure in Production APIs Used as Agent Tools
SilentProbe 审计 2501 份 OpenAPI 文档的 721320 个参数,并对 27 家供应商执行 219 次扰动,揭示 HTTP 200 下的静默失败。仅写在描述中的约束有 44/61 次静默失败;Agent 只识别 12%,修复率为 0%,而把枚举写入 schema 后失败从 88/88 降为 0/89。
INSIGHT对搜索 Agent 来说,空结果与工具未理解请求必须在协议层可区分,不能寄希望于更强模型自行猜测。应把枚举、范围和必填约束写入机器可校验 schema,并在轨迹中记录错误类型;这一行级接口治理比增加反思轮次更便宜、更可靠。