DualSpec: Accelerating Deep Research Agents via Dual-Process Action Speculation
针对 LLM 深度研究 Agent 在长链信息检索任务中端到端延迟过高的问题,提出双进程动作推测(DualSpec)框架。受人类认知双进程理论启发,设计快速(System 1)和慢速(System 2)两种推测策略:快速策略处理常规动作模式,慢速策略应对需要深度推理的复杂动作。通过自适应选择推测策略并放宽严格动作匹配约束,实现推理与工具执行的有效重叠,显著降低了深度研究 Agent 的端到端响应时间。
INSIGHT深度研究 Agent 的主要瓶颈不在于单步推理能力,而在于多步推理和频繁工具调用累积的延迟。DualSpec 借鉴认知双进程理论,将动作推测分为快慢两个通道,这种设计思路可直接应用于搜索 Agent 的推理加速——对常见查询模式用轻量推测跳过等待,对复杂查询保留完整推理。该方法来自微软研究院,具有较强的工程落地参考价值。
问题与动机
基于 LLM 的深度研究 Agent 在处理长链信息检索任务时,由于大量推理步骤和频繁工具调用,端到端延迟极高。现有的推测执行框架(Speculative Execution)试图通过重叠动作执行与推理来降低延迟,但采用统一的推测策略和严格的动作匹配,限制了加速效果和鲁棒性。核心问题是:不同类型的 Agent 动作(如搜索查询 vs URL 访问)具有本质不同的推理需求,一刀切的推测策略无法充分利用这种差异。
方法概述
DualSpec 受认知科学双进程理论启发,将 Agent 动作分为两类并采用不同的推测策略:
- Search 动作(System 2):需要深思熟虑的推理,使用小模型 + 显式推理链来生成推测草稿
- Visit 动作(System 1):依赖模型的参数化知识,直接使用大模型无推理链快速生成推测草稿
两种草稿并行生成,根据动作类型选择合适的草稿。验证环节使用语义置信度而非严格的文本匹配:
验证分数 = log(p_accept) - log(p_reject)
超过阈值 τ 的草稿被接受,否则回退到完整推理。
核心技术贡献
- 动作异质性发现:通过熵分析发现 Search 动作不确定性高(需要推理),Visit 动作不确定性低(依赖模型知识),为差异化推测提供理论基础
- 异质推测策略:首次将双进程理论应用于 Agent 推测执行,为不同动作类型定制推测方式
- 语义验证器:用基于置信度的语义验证替代严格文本匹配,提高了推测接受率而不牺牲准确性
- 进度感知验证:验证 prompt 评估 Agent 是否在「取得新进展」,而非简单比较动作文本
实验结果分析
实验设置:模型组合(MiroThinker-72B+8B, MiroThinker-72B+30B-A3B, Qwen3-32B+4B),数据集(GAIA-Text-103, XBench-DeepSearch, Seal-0),基线(DSP, SPAgent)。
主要结果:
- 最高加速:3.28× 端到端延迟降低(MiroThinker-72B + 8B 组合)
- 准确率保持:异质推测与原始模型准确率一致(63.1% vs 63.1% on GAIA)
- 对比统一策略:纯无推理策略虽快但准确率下降 3.9%(63.1%→59.2%),纯推理策略准确率下降 6.8%(63.1%→56.3%)
消融分析:
- 干预率在 20-30% 时达到最佳平衡——准确率接近基线,效率显著提升
- 准确率随干预率增加先升后稳定,超过 30% 后收益递减
局限与未来方向
- 当前仅在特定模型组合上验证,对更多 LLM 架构的适配性需进一步研究
- 语义验证器的阈值 τ 需要针对不同任务调优
- 异质策略的分类(Search vs Visit)较为粗粒度,更复杂的动作类型可能需要更精细的策略划分
- 未探索在分布式部署场景下的加速效果
工业实践意义
- 搜索 Agent 延迟优化:3.28× 的加速对实时搜索系统意义重大。在社区搜索场景中,用户期望秒级响应,DualSpec 可将深度研究 Agent 的响应时间从分钟级降至可接受范围
- 成本效率:通过小模型承担部分推测工作,降低了大模型的调用频率和计算成本。在大规模部署中可显著降低 GPU 消耗
- 动作分类思路:将 Agent 动作按推理需求分类的思路可推广到各类搜索 Agent——例如将简单的关键词搜索和复杂的语义查询构造区分处理
- 来自微软研究院:Qi Chen 和 Chuanjie Liu 是微软在搜索和 AI 系统领域的资深研究员,方法的工程可行性较高