Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies
论文提出 Workspace-Bench 评估 AI Agent 处理「真实工作空间 + 大规模文件依赖」任务的能力。基准覆盖 5 类员工画像、74 种文件类型、20,476 个文件 (最大 20GB)、388 条精选任务和 7,399 条评测 rubric,并提供 100 任务 Lite 版以降低 70% 评估成本。在 4 种 Agent 框架 × 7 个基础模型上测试,最佳 Agent 完成率 68.7%,人类基线 80.7%,全体 Agent 平均 47.4%,显示当前 Agent 仍显著低于人类。
INSIGHTWorkspace-Bench 把 Agent 评估从「单工具单步」推进到「文件依赖 + 长程上下文」,对企业搜索、知识库 RAG、内部 Agent 系统的选型具有直接参考价值。72% 的人机差距说明 Agent 的瓶颈不在单步推理而在跨文件依赖追踪、状态更新与迭代纠错。社区搜索/UGC 场景可借鉴其 rubric 设计,把「多帖子相互引用、跨长尾文件检索」这类任务纳入 Agent 评测;Lite 版的成本压缩思路也值得复用到内部 Agent 自动评测流水线。
1. 问题与动机
Workspace-Bench 关注一个被现有 Agent 评测体系系统性回避的核心场景:真实办公空间内、跨数十种异构文件、含复杂依赖关系的多步任务。论文给出了一组定量证据来证明现有评测的不足:在 TheAgentCompany 上当前最佳 Agent 完成率仅 24-30%,OfficeBench 上多应用工作流成功率约 47%,而对字节跳动 Lark 平台 154 个真实任务场景的分析进一步显示 Agent 在面对「碎片化、海量文档工作空间」时表现明显恶化。
作者指出三类已有基准的关键缺陷:(a) 把信息全嵌入自然语言,绕开了真实文件系统导航;(b) 给 Agent 预先打包任务相关文件,缺少完整目录上下文;(c) 支持的文件格式 < 10 种,远低于真实办公场景 50+ 种。这一切让 Agent 在「显式 + 隐式跨文件依赖」的处理上能力被严重高估。Workspace-Bench 的目标就是把评测从「单文件、纯 NLP」转向「真实工作空间、文件依赖图」。
2. 方法详解
文件生态构造:5 类 Worker 画像(运营经理、物流经理、研究员、后端开发、AI 产品经理),共 20,476 个文件、74 种格式(.docx/.pdf/.xlsx/.csv/.pptx/各种代码与配置/.eml/.dat 等),单工作空间 1,379-11,020 文件,目录平均深度 3.7、最大 8 层;文件分布上 37.5% 表格、35.3% 文档、12.7% 代码与配置。文件来源采用「真实数据回收 + 受控生成」混合策略,避免纯合成空间的语义稀薄问题。
任务构造:从 154 个真实工作流场景出发,由 25 名标注员在模拟工作空间中创建 388 条具体任务,按难度分 Easy 14% / Medium 53% / Hard 33%,每任务都附带「文件依赖图」标注 Agent 必须访问的最小文件路径集合。
Rubric 体系:共 7,399 条 rubric,平均 19.1 条/任务(区间 6-30),分三类——结果导向 54.8%(输出正确性与完整性)、基础合规 25.0%(命名/格式/存放位置)、过程导向 20.2%(推理与执行链路)。依赖密度按边数划分:Low 0-2 条 33.8%、Moderate 3-5 条 36.9%、High ≥6 条 29.4%。
评测协议:在 Workspace-Bench-Lite(100 任务子集,节省 70% 成本)上跑 4 类 Agent harness(OpenClaw、Claude Code、LangChain DeepAgent、Hermes)× 7 种基础模型(Opus-4.7、GLM-5.1、Gemini-3.1-Pro、GPT-5.4、Kimi-2.5、MiniMax-M2.7、Seed-2.0-Code),共 28 组配置。任务在隔离沙盒里执行,工作空间在每条任务结束后用并行 BFS 算法快照恢复;输出文件用三种策略提取(指令限定路径、副本检索、元数据模糊匹配);Judge Agent 以 Seed-2.0-Lite 为后端 LLM,按 Agent-as-a-Judge 范式判定 rubric 满足度、置信度、错误归类与依赖图识别。
3. 核心技术贡献
(1) 文件依赖图作为一类新评测原语:论文把传统多文件任务里隐含的「跨文件依赖」显式建模为标注图(节点=必需文件,边=依赖关系),并据此衡量 Agent 的依赖识别 Node F1 / Edge F1。这是与 OfficeBench、TheAgentCompany 最大差异——后者只评估最终输出,未拆解中间依赖识别能力,导致看起来表现好的 Agent 其实是「猜对答案」而非「读对文件」。
(2) 三层 Rubric 体系:54.8% 结果 + 25.0% 基础合规 + 20.2% 过程,把 Agent 评估从「输出对不对」推进到「过程合规吗、文件归位了吗」。这与企业级 Agent 落地最关心的合规审计高度一致。
(3) Lite 版 + 并行恢复:100 任务子集保持难度/Persona 分布,配合工作空间快照恢复机制,把单次完整评测成本压低 70%,使得 Agent 团队可以做高频回归测试。
(4) 跨 Harness × LLM 矩阵分析:28 组配置首次系统性回答了「Harness 重要还是 LLM 重要」——Easy 难度下 LLM 是决定因素,Harness 影响小;Hard 难度下 Harness 编排成为决定因素,性能差距显著拉大。这是工程团队选型的强证据。
4. 实验结果分析
整体表现:Rubric Pass Rate 区间 27-67%,全体均值 47.4%,最佳 OpenClaw + Opus-4.7 ≈67%,人类基线 80.7%。即使最强组合距离人类仍有 13.7 个百分点差距,全体 Agent 与人类相差 33.3 个百分点。
| 配置 | Pass Rate | Easy | Medium | Hard |
|---|---|---|---|---|
| OpenClaw + Opus-4.7 | ~67% | 65.0% | 58.5% | 54.7% |
| ClaudeCode + Opus-4.7 | ~66% | 63.1% | 57.7% | 43.2% |
| Hermes + Opus-4.7 | ~65% | 72.8% | 58.8% | 53.0% |
| DeepAgent + GLM-5.1 | ~62% | 63.0% | 62.5% | 61.6% |
| 全体均值 | 47.4% | 57.6% | 49.2% | 40.5% |
依赖图识别:Node F1 普遍高于 Edge F1,Hermes 在 Node F1 上最优;Edge F1 全体偏低,作者明确指出这是 Agent 对「文件间依赖关系」推理能力的关键短板。
能力维度排名(TCR@70 由弱到强):Lineage Tracing ~10% → 异构文件理解 ~20% → 任务支撑文件利用 ~30-40% → 内容关系理解 ~40-50% → 结果文件利用 ~55-65% → 工作空间探索 ~60-70%。说明 Agent 当前最弱的是文件血缘追踪与跨格式语义理解。
Token 与轮次成本:DeepAgent + Opus-4.7 单任务 ~1M+ tokens / 40-60 轮,ClaudeCode/Hermes 仅 300-400K / <20 轮,全体均值 550.7K tokens、36.6 轮。说明同样性能下,Harness 设计差异可带来 3 倍以上的成本差距。
Harness vs LLM 矩阵观察:Easy 难度下不同 Harness 性能差异 < 5pp,主要由 LLM 决定;Hard 难度下 Harness 差距拉大到 18pp(DeepAgent 61.6% vs ClaudeCode 43.2%,同为 Opus-4.7 后端)——表明长程任务里编排架构比单次推理能力更关键。
5. 局限与未来方向
作者未单独写「Limitations」章节,但隐含约束包括:(1) 大部分实验在 Lite 100 任务上跑,full 388 任务的成本仍较高;(2) 仅评 7 个基础模型,部分 domain-specific 模型(如 Seed-2.0-Code)在非代码 Persona 上明显退化,泛化性未充分讨论;(3) 人类基线仅由 20 名领域专家完成,标注员间一致性、个体方差未公开;(4) Claude Cowork 等闭源系统仅在 20 条精选任务上对比,非全基准评测;(5) Hermes、OpenClaw 等 Harness 仍处于活跃开发阶段,结果未必代表成熟形态;(6) 工作空间为「真实回收 + 生成」混合产物,合成成分可能掩盖真实环境中的语义噪声。值得关注的额外问题:依赖图标注的代价昂贵且主观,开放跨标注员一致性数据有助于评测可信度。
6. 工业实践意义
对搜索/推荐与 Agentic Search 团队的关键启示:
(1) 把评测从「单工具单步」迁到「文件依赖 + 长程上下文」:社区/UGC 搜索 Agent 同样面对帖子、视频转写、评论、问答等异构内容,可借鉴依赖图概念,把「多帖子相互引用、跨长尾内容溯源」这类查询纳入 Agent 评测,避免 demo 现场表现好但真实场景失败。
(2) Harness 编排比单次推理更关键的工程结论:与 Meituan LongCat-Flash-Thinking-2601、Xiaohongshu DeepAgent 的同期工作呼应。投资 Harness 设计(决策路由、记忆折叠、tool 编排)的边际回报,可能高于单纯升级到下一个 LLM——尤其在 Hard 长程任务上。
(3) 三层 Rubric 思想可直接落地:把企业搜索 Agent 评测拆为「最终答案对错 + 中间检索路径合规 + 文件/数据更新合规」,对接审计与上线灰度。
(4) Lite 版 + 沙盒恢复方案是 Agent 自动评测流水线模板:100 任务子集 + 并行 BFS 工作空间恢复,可直接复制到我们自家 Agentic Search 内部回归测试。
(5) 部署成本警示:DeepAgent 单任务 1M+ tokens 在内部知识库 Agent 场景会变成显著推理成本,选型时要把「Harness 是否过度自循环」纳入评估指标。
(6) Lineage Tracing 仍是普遍短板:当前所有 Agent 在文件血缘追踪上仅 ~10% 成功率,意味着「这个结论是从哪个文件来的」类型查询在企业场景里基本不可靠,需要外部强约束机制(如显式源链路记录、引用强制注入)来兜底。