Li Auto Inc. (理想汽车) | arXiv:2604.14518 | 2026-04-16
1. 问题与动机
核心问题： 当前的 Deep Research 系统（如 OpenAI、Google Gemini 的深度研究产品）严重依赖超大规模基座模型（100B+），导致推理成本高、部署门槛高、延迟大。能否用中等规模模型（~30B）通过精细化的训练策略达到同等水平？
问题的重要性：
- 成本与可部署性矛盾：Deep Research 需要模型具备长程推理、多轮搜索、长文报告生成等复合能力，传统做法是"堆参数量"，但这使得商业化部署的推理成本极高。理想汽车作为车企，需要将该能力集成到车载智能助手中，对延迟和成本有硬约束。
- 单 Agent 的能力瓶颈：让单个模型同时承担"规划搜索策略→执行多轮检索→撰写结构化报告"这三类差异巨大的任务，对模型能力要求过高。任务分解（Divide & Conquer）是降低单模型能力需求的关键思路，但如何分解、如何训练每个子 Agent，缺乏系统性的工程范式。
- 搜索策略的可优化性：传统 RAG 或 Agentic Search 中，"什么时候搜索"、"搜索什么 query"、"何时停止搜索"这些决策大多依赖 prompt engineering，缺乏通过 RL 系统性优化搜索策略的方法论。
2. 方法概述
MindDR 的方法论可以从 推理架构 和 训练流程 两个维度理解：
推理架构：三 Agent 协作
| Agent | 职责 | 核心机制 |
|---|---|---|
| Planning Agent | 接收用户 query，分解为结构化子任务 | 任务拆分 + 并行调度 |
| DeepSearch Agent | 对每个子任务执行多轮搜索-推理循环 | ReAct 循环（Reason→Act→Observe），迭代检索直到信息充分 |
| Report Agent | 将各子任务的检索结果综合为结构化报告 | 带引用的 Markdown 长文生成 |
三个 Agent 之间通过 Extended Chain-of-Thought (XoT) 传递完整的信息溯源链，下游 Agent 可以访问上游的完整推理轨迹。
训练流程：四阶段递进
SFT 冷启动 → Search-RL → Report-RL → 偏好对齐（DPO + Self-SFT）- Phase 1 - SFT：15,000 条专家轨迹，课程学习（8K→32K→128K 上下文），建立基本格式遵从能力
- Phase 2 - Search-RL：在线 RL + 真实工具执行，优化 DeepSearch Agent 的搜索策略
- Phase 3 - Report-RL：优化 Report Agent 的长文生成质量（RACE 评分维度）
- Phase 4 - 偏好对齐：DPO 修复可客观检测的错误（时间错误、表格错误），Self-SFT 提升整体连贯性
3. 核心技术贡献
3.1 GSPO：面向 MoE 模型的 RL 算法
这是本文最具技术深度的贡献之一。标准 GRPO 使用 token-level 重要性比率，但在 MoE（Mixture of Experts）架构下，稀疏激活导致 token 级梯度在不同 expert 间分布极不均匀，造成训练不稳定。GSPO 改用 sequence-level 重要性比率，自然地平均化了 expert 路由变化，从而稳定了 MoE 模型的 RL 训练。这对于当前主流的 MoE 架构（如 Mixtral、DeepSeek-V3）具有普适价值。
3.2 动态奖励调度（Threshold-Triggered Scheduling）
Search-RL 的奖励由四个分量组成，初始权重为：
λ_tool=0.6, λ_format=0.3, λ_PRM=0.1, λ_ORM=0.0当某项能力饱和（如工具调用成功率达标），相应权重自动下调，将学习信号转移给更高阶的目标（如最终答案正确性 ORM）。这避免了传统 RL 中"奖励塑形需要大量手动调参"的问题。
3.3 轻量级过程奖励模型（PRM）
PRM 不使用额外 LLM 推理，而是通过 实体覆盖率的字符串匹配 计算中间步骤的奖励信号。这大幅降低了 RL 训练中奖励计算的开销，使得大规模在线 RL 可行。
3.4 数据合成流水线
从知识图谱（百度百科、Wikipedia）构造多跳推理问题，经过四个阶段：
- 图构建（确保推理可达性、路径必要性、结构独立性）
- 多跳 QA 生成
- 条件混淆（增加难度同时保持可解性）
- 质量过滤
这套流水线为 Search-RL 提供了可控且高质量的训练数据，解决了"深度研究任务缺乏标注数据"的核心瓶颈。
3.5 与现有方法的关键区别
| 维度 | 现有方法（如 OpenAI Deep Research） | MindDR |
|---|---|---|
| 模型规模 | 依赖 100B+ 模型 | ~30B（MoE，激活参数 ~3B） |
| 训练范式 | 端到端或 prompt engineering | 分阶段 RL，每阶段优化不同 Agent |
| 搜索策略 | Prompt 驱动 | Search-RL 显式优化 |
| RL 算法 | GRPO/PPO | GSPO（针对 MoE 定制） |
4. 实验结果分析
DeepSearch 能力（信息检索）
| Benchmark | MindDR-v1.5 | 备注 |
|---|---|---|
| BrowseComp-ZH | 45.7% | 中文深度搜索 |
| BrowseComp | 42.8% | 英文深度搜索 |
| xbench-DS | 75.0% | 跨语言搜索 |
| GAIA-DS | 70.9% | 通用 Agent 推理 |
| WideSearch | 44.0% → 46.5% | 广度搜索 |
关键发现：30B 模型在 BrowseComp 上达到 42.8%，已接近甚至超过部分更大规模的基座模型，验证了"精细训练 > 暴力堆参数"的核心假说。
DeepResearch 能力（报告生成）
在自建的 MindDR Bench（500 条真实中文查询）上：
| 维度 | 得分 |
|---|---|
| RACE 综合 | 51.77 |
| Comprehensiveness（全面性） | 52.17 |
| Readability（可读性） | 52.18 |
| Insight（洞察力） | 51.77 |
| Instruction Following（指令遵从） | 50.55 |
| Citation Accuracy（引用准确率） | 80.25% |
| Temporal Error Rate（时间错误率） | 2.0% |
特别值得注意的是时间错误率仅 2.0%，远低于 Gemini（10.2%）和 Qwen（8.2%），说明偏好对齐阶段对"可客观检测错误"的针对性 DPO 训练非常有效。
训练效率
通过 Li-veRL 框架（异步轨迹生成 + 执行优化），RL 训练实现了 2.9 倍加速，使 30B 模型的大规模在线 RL 训练在工程上可行。
5. 局限与未来方向
论文自述的局限
- 超长上下文管理：当累积上下文过长时，关键信息被稀释，搜索结果质量下降。这是所有长上下文 Agent 的共性问题。
- 跨语言泛化：评估主要覆盖中英文，其他语言的效果未知。
我认为的额外局限与改进方向
- 搜索引擎依赖：DeepSearch Agent 的效果高度依赖底层搜索引擎的质量。论文未讨论当搜索引擎返回低质量结果时的鲁棒性。
- Planning Agent 的训练不足：四阶段训练中，Planning Agent 仅在 SFT 阶段被覆盖，没有独立的 RL 优化。任务分解质量直接决定下游效果，这是一个明显的改进空间 —— 可以引入 Planning-RL 阶段，用下游 Agent 的成功率作为 Planning 质量的奖励信号。
- Agent 间的信息传递效率：XoT 传递完整推理轨迹会带来 token 开销，未来可探索更高效的跨 Agent 信息压缩机制。
- 评估基准的封闭性：MindDR Bench 基于理想汽车自有产品日志构建，外部研究者难以复现和公平对比。
6. 工业实践意义
对搜索系统的启示
- Agentic RAG 的训练范式：Search-RL 提供了一套完整的"如何用 RL 优化搜索 Agent"的方法论 —— 从奖励设计（工具调用奖励 + 过程奖励 + 结果奖励）到动态调度，可直接迁移到企业级 RAG 系统中优化检索策略。
- 搜索策略可学习化：传统搜索系统中 query 改写、检索轮次、停止条件都是规则驱动的。本文证明这些决策可以通过 RL 端到端优化，且效果显著。
对推荐系统的启示
- 多 Agent 架构降低模型规模要求：推荐系统中的复杂任务（如用户意图理解→召回→排序→解释生成）也可以拆分为多个专业化 Agent，每个用较小模型承担，而非依赖单个大模型。
- 分阶段 RL 训练：推荐系统中的 RL（如 reward shaping for engagement/diversity/fairness）也可以借鉴本文的动态奖励调度思路。
对工业部署的启示
- 30B MoE（激活 ~3B）的可部署性：该模型规模已经可以在消费级硬件上部署，理想汽车将其用于车载场景是一个重要的工业验证信号。
- 四阶段训练流水线的工程化：SFT→Task-specific RL→Quality RL→Preference Alignment 这个递进式训练框架具有很强的通用性，可以作为构建任何 Agentic AI 系统的标准训练模板。
- Li-veRL 的 2.9 倍训练加速：证明在线 RL（带真实工具执行）的训练效率瓶颈可以通过异步化工程优化来缓解，降低了 RL 训练的工程门槛。
核心 Takeaway
中等规模模型 + 多 Agent 分治 + 多阶段 RL = 工业级 Deep Research 能力。 这为资源有限的团队提供了一条可行路径：不需要训练 100B+ 的模型，通过架构设计和训练策略的精细化，30B 级别模型即可达到商业部署水平。
需要我将这篇解读保存到深度阅读数据库中吗？