1. 问题与动机
RAG 系统中的幻觉问题是制约 LLM 搜索应用可靠性的核心瓶颈。现有的 LLM-as-judge 验证方法存在「确认偏误」——验证者同时接触查询、文档和生成结果时，倾向于复现原始生成的错误。论文指出，上下文冲突型幻觉在数据密集型任务中尤为普遍，表现为「不准确的数字、扭曲的时间序列、错误的算术聚合」。传统 RLHF 依赖标量奖励模型，将多维评估压缩为粗粒度分数，缺乏 claim 级别的验证粒度。这一问题在社区搜索等 UGC 场景中尤为关键，因为用户对搜索结果中的事实性错误容忍度极低。
2. 方法详解
MARCH 提出三 Agent 协作的验证流水线，核心创新是「刻意信息不对称」设计：
三个专业化 Agent：
- Solver (νsolve)：基于查询和检索文档生成 RAG 响应，参数化为 νsolve(·|x,D) = πθ(·|x,D,ssolve)
- Proposer (νpropose)：作为「响应原子化器」，将 Solver 输出分解为离散的可验证命题，提取问答对 Q(y) = {(qi, ai)}，聚焦关键数字，输出纯数值答案
- Checker (νcheck)：作为「盲审员」，仅接收问题 {qi} 和文档 D，不接收 Solver 的原始响应 y 和答案 {ai}，独立回答问题并通过多次采样的多数投票降低方差
信息不对称机制是核心设计：Checker 与 Solver 输出之间存在严格信息屏障，打破自我确认的循环。
零容忍奖励 (ZTR)：
- R = 0（所有 ai = âi 时），R = -1（任何 claim 不匹配时）
- 二元结构强制「全有或全无」约束，任何单个幻觉 claim 即判定整个响应失败
- 消融实验显示 ZTR 显著优于比例性错误率奖励 ERR（61.25% vs 55.46%）
联合策略优化 (PPO)：
- 单一策略 πθ 同时扮演三个角色
- Solver 轨迹 y 和 Checker 轨迹 λ 共享终端奖励 Ri
- 优势函数通过 GAE 独立估计，KL 散度惩罚 β=1×10⁻³ 防止分布偏移
- 训练配置：全局 batch size 32，最大 prompt 24,567 tokens，最大响应 8,192 tokens，Actor 学习率 1×10⁻⁶，Critic 1×10⁻⁵，采样温度 0.6，8 次独立生成
3. 核心技术贡献
贡献一：非对称解耦验证。 通过严格的信息屏障将验证与生成解耦，消除了同时接触查询、文档和响应导致的确认偏误。这不是简单的「让另一个模型验证」，而是通过架构设计确保验证者无法接触原始生成结果。
贡献二：自包含验证闭环。 用 Agent 自生成的 ground truth（âi 近似 ai*）替代不可获取的 oracle 标注，无需人工标注即可训练。Checker 的多数投票（8 次采样）进一步降低近似误差。
贡献三：双轨迹联合优化。 单一策略在推理（Solver）和审计（Checker）两条路径上接收统一奖励信号，实现 Solver 减少幻觉和 Checker 提升验证能力的协同进化。
贡献四：Claim 级别的细粒度验证。 将响应分解为原子命题后逐一验证，相比 outcome 级别的评估能精确定位幻觉来源。
4. 实验结果分析
幻觉检测基准（一致性率 %）：
| 模型 | RAGTruth | FaithBench | Facts Grounding |
|---|
| Llama3.1-8B 基线 | 55.20% | - | 57.09% |
| MARCH-STEM | 74.93% | - | 85.23% |
| MARCH-General | 75.23% | - | 80.12% |
MARCH-STEM 在 Facts Grounding 上提升 +28.14%，接近 Gemini 2.5 Flash 等顶级商用模型水平。
多跳问答性能：
- HotpotQA: 73.6%（vs IRCoT GPT-4o: 66.4%，+7.2%）
- MuSiQue: 40.8%
- 2WikiMultiHopQA: 69.4%
8B 参数的 MARCH 在多跳 QA 上超越了 GPT-4o 的专门 RAG 基线。
消融实验关键发现：
- Solver only → +Checker：+1.6%（验证机制的基础收益）
- +Few-Shot (10)：+11.8%（上下文学习的巨大提升）
- ZTR vs ERR 奖励：61.25% vs 55.46%（零容忍奖励的优势显著）
- ZTR(-1/0) vs 激励型(0/1)：59.06% vs 50.42%（惩罚信号优于奖励信号）
- 跨模型泛化：Qwen3-8B + MARCH 达到 68.11%，证明方法的架构无关性
奖励黑客现象： 训练过程中模型倾向于减少提出的问题数量（「少说少错」策略），通过设定最小问题数 k=3 的约束有效缓解。
5. 局限与未来方向
作者明确指出的局限：
- 奖励黑客问题：模型会学习减少验证问题数来降低被发现的风险，虽可通过指令约束缓解，但根本矛盾未解决
- 数值验证聚焦：框架主要针对数值和定量验证，对更广泛的语义层面事实性（如逻辑关系、因果推理）的适用性尚不明确
- 计算开销：多 Agent rollout + 多次 Checker 采样（8x）增加了推理延迟
- Oracle 近似：Checker 生成的答案是近似的 ground truth，多数投票降低但不消除系统性偏差
6. 工业实践意义
直接应用场景： MARCH 的三 Agent 验证架构可直接嵌入搜索系统的答案质量校验环节。对于社区搜索中 LLM 生成的摘要、答案或知识卡片，通过信息不对称的独立验证可显著降低事实性错误。
训练优势： 无需人工标注验证数据，仅需查询+检索文档即可训练，且在噪声率 24.4%-88.4% 的检索结果上表现稳健。这对真实搜索场景中检索质量参差不齐的情况尤为重要。
部署考量：
- 8B 模型达到 70B+ 基线的竞争力水平，推理成本可控
- 多 Agent 流水线增加延迟（Solver → Proposer → Checker），适合离线/准实时场景（如答案预生成）
- 与 CoT、few-shot 正交，可叠加使用不降低效果
- 零容忍奖励的设计思路可借鉴到搜索质量评估中：对事实性错误采用严格惩罚而非比例扣分
关键借鉴： 「信息不对称」设计思想可推广到搜索系统的多种验证场景——评审员不应看到被评审的内容上下文，而应仅基于原始证据独立判断。
Fudan University
Microsoft