深度研究 Agent 的主要瓶颈不在于单步推理能力，而在于多步推理和频繁工具调用累积的延迟。DualSpec 借鉴认知双进程理论，将动作推测分为快慢两个通道，这种设计思路可直接应用于搜索 Agent 的推理加速——对常见查询模式用轻量推测跳过等待，对复杂查询保留完整推理。该方法来自微软研究院，具有较强的工程落地参考价值。
问题与动机
基于 LLM 的深度研究 Agent 在处理长链信息检索任务时，由于大量推理步骤和频繁工具调用，端到端延迟极高。现有的推测执行框架（Speculative Execution）试图通过重叠动作执行与推理来降低延迟，但采用统一的推测策略和严格的动作匹配，限制了加速效果和鲁棒性。核心问题是：不同类型的 Agent 动作（如搜索查询 vs URL 访问）具有本质不同的推理需求，一刀切的推测策略无法充分利用这种差异。
方法概述
DualSpec 受认知科学双进程理论启发，将 Agent 动作分为两类并采用不同的推测策略：
- Search 动作（System 2）：需要深思熟虑的推理，使用小模型 + 显式推理链来生成推测草稿
- Visit 动作（System 1）：依赖模型的参数化知识，直接使用大模型无推理链快速生成推测草稿
两种草稿并行生成，根据动作类型选择合适的草稿。验证环节使用语义置信度而非严格的文本匹配：
验证分数 = log(p_accept) - log(p_reject)
超过阈值 τ 的草稿被接受，否则回退到完整推理。
核心技术贡献
- 动作异质性发现：通过熵分析发现 Search 动作不确定性高（需要推理），Visit 动作不确定性低（依赖模型知识），为差异化推测提供理论基础
- 异质推测策略：首次将双进程理论应用于 Agent 推测执行，为不同动作类型定制推测方式
- 语义验证器：用基于置信度的语义验证替代严格文本匹配，提高了推测接受率而不牺牲准确性
- 进度感知验证：验证 prompt 评估 Agent 是否在「取得新进展」，而非简单比较动作文本
实验结果分析
实验设置：模型组合（MiroThinker-72B+8B, MiroThinker-72B+30B-A3B, Qwen3-32B+4B），数据集（GAIA-Text-103, XBench-DeepSearch, Seal-0），基线（DSP, SPAgent）。
主要结果：
- 最高加速：3.28× 端到端延迟降低（MiroThinker-72B + 8B 组合）
- 准确率保持：异质推测与原始模型准确率一致（63.1% vs 63.1% on GAIA）
- 对比统一策略：纯无推理策略虽快但准确率下降 3.9%（63.1%→59.2%），纯推理策略准确率下降 6.8%（63.1%→56.3%）
消融分析：
- 干预率在 20-30% 时达到最佳平衡——准确率接近基线，效率显著提升
- 准确率随干预率增加先升后稳定，超过 30% 后收益递减
局限与未来方向
- 当前仅在特定模型组合上验证，对更多 LLM 架构的适配性需进一步研究
- 语义验证器的阈值 τ 需要针对不同任务调优
- 异质策略的分类（Search vs Visit）较为粗粒度，更复杂的动作类型可能需要更精细的策略划分
- 未探索在分布式部署场景下的加速效果
工业实践意义
- 搜索 Agent 延迟优化：3.28× 的加速对实时搜索系统意义重大。在社区搜索场景中，用户期望秒级响应，DualSpec 可将深度研究 Agent 的响应时间从分钟级降至可接受范围
- 成本效率：通过小模型承担部分推测工作，降低了大模型的调用频率和计算成本。在大规模部署中可显著降低 GPU 消耗
- 动作分类思路：将 Agent 动作按推理需求分类的思路可推广到各类搜索 Agent——例如将简单的关键词搜索和复杂的语义查询构造区分处理
- 来自微软研究院：Qi Chen 和 Chuanjie Liu 是微软在搜索和 AI 系统领域的资深研究员，方法的工程可行性较高