← 全部深度解读
📖 深度解读 · AGENTIC

TRUST-SQL: Tool-Integrated Multi-Turn Reinforcement Learning for Text-to-SQL over Unknown Schemas

Ai Jian, Xiaoyun Zhang, Wanrou Du, Jingqing Ruan, Jiangbo Pei, Weipeng Zhang, Ke Zeng, Xunliang Cai · Meituan · arXiv 2603.16448 · 发表 2026-03-19
7 分钟阅读时长 2566字 4.30综合分 第 1 名03-20 Agentic 日报
目录 · 6 节1问题与动机2方法详解3核心技术贡献4实验结果分析5局限与未来方向6工业实践意义
相关 4新颖 4实用 4证据 4时效 5
将 agent 工具使用过程建模为 POMDP 并用 RL 训练是 agentic search 的通用范式。Dual-Track GRPO 通过将探索与利用的奖励信号分离,有效解决了多轮 agent 任务中的信用分配难题。这种「工具调用 + RL 训练」的模式可直接迁移到搜索场景中的多轮 query 改写、schema 发现等任务。

1. 问题与动机

传统 Text-to-SQL 研究假设完整数据库 schema 已预加载到模型上下文中(Full Schema Assumption),但在真实企业环境中,数据库包含数百张表、元数据噪声大且持续演化,这一假设完全失效。现有方法要么将完整 schema 注入 prompt(导致上下文溢出和噪声干扰),要么使用无训练的工具增强方法(缺乏严格验证机制)。

论文指出一个关键问题:当 agent 需要主动探索数据库以发现相关 schema 子集时(Unknown Schema 场景),标准 RL 方法面临信用分配困难——探索阶段的 schema 发现奖励与生成阶段的 SQL 执行奖励被混合优化,导致训练不稳定。先导实验显示,无 Propose 阶段约束时,模型 schema 幻觉率高达 26.4%,而引入认知检查点后降至 2.8%。

2. 方法详解

POMDP 建模:将 Unknown Schema 下的 Text-to-SQL 建模为部分可观测马尔可夫决策过程,数据库的完整结构作为隐状态,agent 通过工具执行获得部分观测。

EPGC 四阶段交互协议:

  • Explore(探索):agent 调用数据库元数据查询工具,逐步发现表、列、外键等结构信息
  • Propose(提议):强制认知检查点,agent 必须明确提交其认为相关的 schema 子集,防止幻觉
  • Generate(生成):基于已验证的元数据生成候选 SQL
  • Confirm(确认):提交最终答案

Dual-Track GRPO 算法(核心创新):
扩展 Group Relative Policy Optimization,通过 token 级 masked advantages 将优化分为两条轨道:

  1. Schema Track:从 Explore 到 Propose 阶段,仅使用 schema 奖励优化——衡量提议的 schema 与 ground truth 的匹配度
  2. Full Track:完整轨迹,使用 SQL 执行奖励优化——衡量最终 SQL 的正确性

关键机制是 token-level masking:Schema Track 中仅对 Explore-Propose 阶段的 token 计算梯度,Full Track 中仅对 Generate-Confirm 阶段的 token 计算梯度。两条轨道通过权重 λ 平衡(最优 λ=0.25)。

奖励设计:三个互补信号:

  • 执行奖励:正确结果 1.0,可执行但错误 0.2,失败 0.0
  • 格式奖励:协议遵循度 0.1
  • Schema 奖励:二元匹配 + 执行条件耦合(仅在执行正确时给予 schema 奖励,避免冲突梯度)

训练流程:两阶段——9.2k 高质量轨迹上的冷启动 SFT + 11.6k 样本上的 Dual-Track GRPO RL。使用 Qwen3-4B/8B 基座模型,8-16 张 A100 GPU。

3. 核心技术贡献

贡献一:EPGC 结构化协议。Propose 阶段作为认知检查点,强制模型在生成 SQL 前显式提交 schema 假设。这不仅将幻觉率从 26.4% 降至 2.8%,还为 RL 优化提供了天然的结构化边界,使得探索和生成可以分别优化。

贡献二:Dual-Track GRPO。通过 token-level masked advantages 解决多阶段 agent 任务中的信用分配问题。相比标准 GRPO,Dual-Track GRPO 提升 9.9% 相对执行准确率。相比朴素聚合方案,最优 λ 配置提升 5.8%。

贡献三:Schema 奖励的稀疏耦合设计。实验对比了密集 vs 稀疏、独立 vs 耦合四种 schema 奖励方案,发现稀疏+耦合组合最优(64.5%),因为密集奖励引入冲突梯度,独立奖励导致探索-利用不一致。

贡献四:训练 vs 推理 turn 预算解耦。发现最优配置为 10-turn 训练 + 15-turn 推理,即推理时允许更多探索轮次可持续提升准确率。

4. 实验结果分析

主要性能(BIRD-Dev 基准):

模型GreedyMajority Vote
TRUST-SQL-4B64.9%67.2%
TRUST-SQL-8B65.8%67.7%

在不预加载任何 schema 的条件下,性能匹配甚至超过使用完整 schema 的基线方法。

鲁棒性评估(Spider 变体):

  • Spider-DK(领域知识):72.1%(8B)
  • Spider-Syn(同义词鲁棒):75.4%(8B)
  • Spider-Realistic:82.1%(8B)

关键发现:对训练后的模型,添加完整 schema 预填充几乎不带来性能提升,甚至在 Spider-DK 上反而下降 2.4%。这表明交互式策略已经精确检索到所需元数据,额外的 schema 注入反而引入噪声。

消融实验:

  • λ 权重:最优 0.25,+5.8% vs 朴素聚合,+3.6% vs 纯执行奖励
  • Schema 奖励类型:稀疏+耦合 > 密集+耦合 > 稀疏+独立 > 密集+独立
  • Pass@K 扩展:重复采样单调提升准确率

5. 局限与未来方向

作者明确提出的局限:

  1. 推理开销:多轮交互需要实时数据库调用,尽管相比无训练方法延迟降低 500 倍,但仍有部署成本
  2. SQL 方言限制:仅在 SQLite 上评估,未验证对 MySQL/PostgreSQL 等的泛化性
  3. 固定 turn 预算:训练时预设最大交互轮次,可能限制极复杂 schema 的探索能力

未提及但值得注意的限制:

  • 依赖 ground truth schema 标注来计算 schema 奖励,大规模部署时可能需要替代方案
  • 未探索与检索增强(如 embedding-based schema 检索)的结合

6. 工业实践意义

直接可借鉴的设计:

  1. EPGC 四阶段协议模式可推广到任何需要工具交互的 agent 任务——Propose 阶段作为认知检查点是防幻觉的简单有效手段
  2. Dual-Track GRPO 的 token-level masking 思路适用于所有多阶段 agent RL 训练,特别是搜索 agent 中探索(query 改写/扩展)与利用(结果排序/生成)需要分别优化的场景

部署考量:

  • 延迟:0.5-0.6 秒/query,2-3K output tokens,适合非实时场景
  • 硬件:4B 模型可在单 GPU 推理,适合中等规模部署
  • 训练成本:SFT 6.5-12 小时 + RL 40-60 小时(8-16 A100),一次性投入可接受

对搜索系统的启示:
schema 预填充反而降低鲁棒性的发现,对搜索场景有直接映射——将所有候选信息一次性注入 prompt 可能不如让 agent 主动探索和验证。这为搜索 agent 的「主动检索」范式提供了实验支撑。

← 全部深度解读 出现于报告:2026-03-20 · Agentic #1 (4.30) 原文 ↗