Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies
论文提出 Workspace-Bench 评估 AI Agent 处理「真实工作空间 + 大规模文件依赖」任务的能力。基准覆盖 5 类员工画像、74 种文件类型、20,476 个文件 (最大 20GB)、388 条精选任务和 7,399 条评测 rubric,并提供 100 任务 Lite 版以降低 70% 评估成本。在 4 种 Agent 框架 × 7 个基础模型上测试,最佳 Agent 完成率 68.7%,人类基线 80.7%,全体 Agent 平均 47.4%,显示当前 Agent 仍显著低于人类。
INSIGHTWorkspace-Bench 把 Agent 评估从「单工具单步」推进到「文件依赖 + 长程上下文」,对企业搜索、知识库 RAG、内部 Agent 系统的选型具有直接参考价值。72% 的人机差距说明 Agent 的瓶颈不在单步推理而在跨文件依赖追踪、状态更新与迭代纠错。社区搜索/UGC 场景可借鉴其 rubric 设计,把「多帖子相互引用、跨长尾文件检索」这类任务纳入 Agent 评测;Lite 版的成本压缩思路也值得复用到内部 Agent 自动评测流水线。