AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities
AgentCompass 将智能体评测拆为 Benchmark、Harness 与 Environment 三个独立组件,减少不同任务反复重写执行逻辑的问题;系统还提供容错异步运行时和轨迹分析工具,可定位奖励投机等细粒度失效。当前原生支持 5 类能力维度、20 多个基准,强调可复现与可扩展。
INSIGHT搜索智能体上线前需要把任务集、执行框架和外部环境解耦,否则模型升级或工具变化都会污染横向对比。该设计适合建立社区搜索 Agent 的统一回归平台:固定查询与环境快照,替换规划器、检索器或工具策略,并从完整轨迹而非最终答案单点诊断问题。