Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills
企业 Agent 的最终数字正确仍可能掩盖工具调用与数据库行为漂移。论文用独立真值、可复用模板和过程检查评估 240 次运行;175 次通过最终数值检查的运行中,162 次仍有其他偏差,占 92.6%。依赖归因将每次运行平均 6.34 个失败检查归并为 2.65 个根因。
INSIGHT社区搜索 Agent 的验收应覆盖查询参数、检索顺序、证据可见性与工具结果使用,而不能只看最终答案是否像正确答案。可用历史搜索请求构建回归模板,并将上游检索失败与下游生成失败关联,避免重复计数。论文评估的是受控企业任务,尚未证明实际 API 长期演化中的稳定效果。