1. 问题与动机
传统 Text-to-SQL 研究假设完整数据库 schema 已预加载到模型上下文中(Full Schema Assumption),但在真实企业环境中,数据库包含数百张表、元数据噪声大且持续演化,这一假设完全失效。现有方法要么将完整 schema 注入 prompt(导致上下文溢出和噪声干扰),要么使用无训练的工具增强方法(缺乏严格验证机制)。
论文指出一个关键问题:当 agent 需要主动探索数据库以发现相关 schema 子集时(Unknown Schema 场景),标准 RL 方法面临信用分配困难——探索阶段的 schema 发现奖励与生成阶段的 SQL 执行奖励被混合优化,导致训练不稳定。先导实验显示,无 Propose 阶段约束时,模型 schema 幻觉率高达 26.4%,而引入认知检查点后降至 2.8%。
2. 方法详解
POMDP 建模:将 Unknown Schema 下的 Text-to-SQL 建模为部分可观测马尔可夫决策过程,数据库的完整结构作为隐状态,agent 通过工具执行获得部分观测。
EPGC 四阶段交互协议:
- Explore(探索):agent 调用数据库元数据查询工具,逐步发现表、列、外键等结构信息
- Propose(提议):强制认知检查点,agent 必须明确提交其认为相关的 schema 子集,防止幻觉
- Generate(生成):基于已验证的元数据生成候选 SQL
- Confirm(确认):提交最终答案
Dual-Track GRPO 算法(核心创新):
扩展 Group Relative Policy Optimization,通过 token 级 masked advantages 将优化分为两条轨道:
- Schema Track:从 Explore 到 Propose 阶段,仅使用 schema 奖励优化——衡量提议的 schema 与 ground truth 的匹配度
- Full Track:完整轨迹,使用 SQL 执行奖励优化——衡量最终 SQL 的正确性
关键机制是 token-level masking:Schema Track 中仅对 Explore-Propose 阶段的 token 计算梯度,Full Track 中仅对 Generate-Confirm 阶段的 token 计算梯度。两条轨道通过权重 λ 平衡(最优 λ=0.25)。
奖励设计:三个互补信号:
- 执行奖励:正确结果 1.0,可执行但错误 0.2,失败 0.0
- 格式奖励:协议遵循度 0.1
- Schema 奖励:二元匹配 + 执行条件耦合(仅在执行正确时给予 schema 奖励,避免冲突梯度)
训练流程:两阶段——9.2k 高质量轨迹上的冷启动 SFT + 11.6k 样本上的 Dual-Track GRPO RL。使用 Qwen3-4B/8B 基座模型,8-16 张 A100 GPU。
3. 核心技术贡献
贡献一:EPGC 结构化协议。Propose 阶段作为认知检查点,强制模型在生成 SQL 前显式提交 schema 假设。这不仅将幻觉率从 26.4% 降至 2.8%,还为 RL 优化提供了天然的结构化边界,使得探索和生成可以分别优化。
贡献二:Dual-Track GRPO。通过 token-level masked advantages 解决多阶段 agent 任务中的信用分配问题。相比标准 GRPO,Dual-Track GRPO 提升 9.9% 相对执行准确率。相比朴素聚合方案,最优 λ 配置提升 5.8%。
贡献三:Schema 奖励的稀疏耦合设计。实验对比了密集 vs 稀疏、独立 vs 耦合四种 schema 奖励方案,发现稀疏+耦合组合最优(64.5%),因为密集奖励引入冲突梯度,独立奖励导致探索-利用不一致。
贡献四:训练 vs 推理 turn 预算解耦。发现最优配置为 10-turn 训练 + 15-turn 推理,即推理时允许更多探索轮次可持续提升准确率。
4. 实验结果分析
主要性能(BIRD-Dev 基准):
| 模型 | Greedy | Majority Vote |
|---|---|---|
| TRUST-SQL-4B | 64.9% | 67.2% |
| TRUST-SQL-8B | 65.8% | 67.7% |
在不预加载任何 schema 的条件下,性能匹配甚至超过使用完整 schema 的基线方法。
鲁棒性评估(Spider 变体):
- Spider-DK(领域知识):72.1%(8B)
- Spider-Syn(同义词鲁棒):75.4%(8B)
- Spider-Realistic:82.1%(8B)
关键发现:对训练后的模型,添加完整 schema 预填充几乎不带来性能提升,甚至在 Spider-DK 上反而下降 2.4%。这表明交互式策略已经精确检索到所需元数据,额外的 schema 注入反而引入噪声。
消融实验:
- λ 权重:最优 0.25,+5.8% vs 朴素聚合,+3.6% vs 纯执行奖励
- Schema 奖励类型:稀疏+耦合 > 密集+耦合 > 稀疏+独立 > 密集+独立
- Pass@K 扩展:重复采样单调提升准确率
5. 局限与未来方向
作者明确提出的局限:
- 推理开销:多轮交互需要实时数据库调用,尽管相比无训练方法延迟降低 500 倍,但仍有部署成本
- SQL 方言限制:仅在 SQLite 上评估,未验证对 MySQL/PostgreSQL 等的泛化性
- 固定 turn 预算:训练时预设最大交互轮次,可能限制极复杂 schema 的探索能力
未提及但值得注意的限制:
- 依赖 ground truth schema 标注来计算 schema 奖励,大规模部署时可能需要替代方案
- 未探索与检索增强(如 embedding-based schema 检索)的结合
6. 工业实践意义
直接可借鉴的设计:
- EPGC 四阶段协议模式可推广到任何需要工具交互的 agent 任务——Propose 阶段作为认知检查点是防幻觉的简单有效手段
- Dual-Track GRPO 的 token-level masking 思路适用于所有多阶段 agent RL 训练,特别是搜索 agent 中探索(query 改写/扩展)与利用(结果排序/生成)需要分别优化的场景
部署考量:
- 延迟:0.5-0.6 秒/query,2-3K output tokens,适合非实时场景
- 硬件:4B 模型可在单 GPU 推理,适合中等规模部署
- 训练成本:SFT 6.5-12 小时 + RL 40-60 小时(8-16 A100),一次性投入可接受
对搜索系统的启示:
schema 预填充反而降低鲁棒性的发现,对搜索场景有直接映射——将所有候选信息一次性注入 prompt 可能不如让 agent 主动探索和验证。这为搜索 agent 的「主动检索」范式提供了实验支撑。