Trust or Abstain? A Self-Aware RAG Approach — 深度解读

1. 问题与动机

RAG 已成为缓解 LLM 幻觉的主流范式，但作者指出已有方法在面对 知识冲突 时只做了 "二选一" 的路由：要么相信模型的参数知识 (Parametric Knowledge, PK)，要么相信检索到的上下文知识 (Contextual Knowledge, CK)，几乎没有方法显式地问 "这两条路径都不可靠时该怎么办"。作者用 "考试 + 教科书" 的类比刻画该 gap：一个学生既有记忆 (PK) 又有可能错误的参考书 (CK)，理性策略是 "两者都不可靠时拒答"，而当前 RAG 系统经常被迫给出 confident hallucination（参数知识被高估、忽视纠正性证据）或 context over-reliance（被错误检索片段误导，丢弃正确内部知识）。

为量化这个问题，作者基于 5 个冲突 QA 数据集 (ConFiQA QA/MR/MC、ConflictQA-PopQA、ConflictBank、TriviaQA、Natural Questions) 在 4 个 backbone (Qwen-2.5-3B/7B-Instruct、Llama-3.2-3B、Llama-3.1-8B) 上构造了约 68,872 / backbone 的 PK 路径 vs. CK 路径 ground-truth-aligned 实例，发现在 ConflictBank 上当前最好的 inference-time 路由 TPC 的 Macro Faithfulness Score 仅 64.3%，远低于本文 SABER 的 92.5%——也就是说在两条路径冲突时，主流方法有近 1/3 的样本选错了知识源。

2. 方法详解

SABER 的核心是把 "Trust or Abstain" 建模为四象限决策：用 self-prior 表征模型对问题本身的把握，用 PK-条件 / CK-条件表征对每条答案路径的事后可靠度，再用两个轻量分类器输出 PK / CK 的可靠概率，最后落到四象限规则。

(a) Self-Prior 表征：只输入 query，不带任何检索内容，做一次前向，把第 ℓₚ 层 hidden state 抽出来作为 "考前直觉"，反映模型对问题本身是否有把握。

(b) PK-条件推理表征：让模型按 "假设我的参数知识正确" 生成 K = 3 条 chain-of-thought rollout（temperature = 0.9 采样保证多样性），对每条 rollout 再做一次 self-evaluation 前向，把第 ℓc 层 hidden state 抽出，对 3 条 trace 做 mean pooling 得到 PK 侧 robust 表征。

(c) CK-条件推理表征：同样的 K=3 rollout，但前缀里强制 "假设检索文档可靠并包含必要事实"，按同样方式抽 hidden state 并 mean pool。

(d) 信念分类器：把 self-prior 分别与 PK 侧、CK 侧条件表征拼接，喂给两个独立的小型 MLP (256→128，ReLU + dropout 0.2)，输出 p̂_pk 与 p̂_ck。训练只用 BCE 在 PK / CK 是否能给出正确答案的标签上，AdamW lr = 1e-3，weight decay 1e-4，batch 256，最多 50 epoch 在验证集 AUROC 上 early-stop，patience 8。注意 backbone 全程冻结，只训 MLP，所以单条样本的全部训练成本只是抽几次 hidden state 加 256-128 MLP。

(e) 四象限决策：阈值 τ = 0.5，把 (p̂_pk > τ, p̂_ck > τ) 划成 4 个 cell。两侧都可靠取置信度更高的；只一侧可靠就走那侧；都不可靠则 abstain (在部署模式下也可以走 fallback)。τ 可以离线扫 [0.05, 0.95] 调风险-覆盖，无需重训。

3. 核心技术贡献

贡献 1：知识冲突基准化。作者第一次把 "PK-only vs. CK-conditioned" 两条答案路径在 5 个冲突 QA 数据集上系统对齐，对每个 backbone 生成 ~69K 条标注实例，按 80/10/10 切分 (55,097 / 6,889 / 6,886)。这套基准本身就是后续做 self-aware RAG 工作的基础设施，比此前 ConFiQA 等单点评测覆盖更广。

贡献 2：Self-Prior + 条件 hidden state 的解耦表征。不同于 Implicit-SCR 等只读单一隐状态的方法，SABER 显式建模 "对问题本身的先验" 与 "走某条路径后的事后可靠度" 两类信号。消融显示只用 prior 会比完整 SABER 在 Acc 上低 3-5%，只用条件信号也有 +2.8% Acc / +13.4% MFS 的提升，验证了 "条件化 hidden state 比 prior 携带更多可靠性信息" 的判断。

贡献 3：多 trace mean pooling 的鲁棒性。K = 3 比 K = 1 在 Qwen-2.5-3B 上拿到 +3.2% MFS，对小模型增益最大；并且层扫描显示 mid-to-late layer 40%-70% 处都属于高准 plateau，超过 33% 网格点能进入 90 分位，方法对层选择不敏感。

贡献 4：无需 fine-tune 即可比肩 DPO。在 Llama-3.2-3B / Qwen-2.5-3B 上 SABER 与 CR-DPO 持平甚至领先，证明冻结 backbone + 轻量分类器可以替代代价更高的 RLHF / DPO 训练。

4. 实验结果分析

端到端准确率与忠实度 (Table 1-2)：

• Llama-3.1-8B / ConflictBank：SABER Acc 80.2% vs. TPC 69.6%（+10.6 pp），MFS 92.5% vs. 64.3%（+28.2 pp）。
• Llama-3.1-8B / ConflictQA：MFS 91.0% vs. 63.7%（+27.3 pp）。
• 跨所有 20 个 backbone × dataset 平均：+3.4 pp Acc、+15.4 pp MFS over best inference-time 方法。

选择性预测 / 拒答 (Table 3)：在默认 τ=0.5 下，

风险-覆盖曲线 (Figure 3) 在 4 个 backbone 上都 Pareto 支配 prompt-based baseline，在与 Implicit-SCR 同覆盖率下 risk-on-answered 相对降低 19%-53%。

消融 (Figure 4) 验证：(1) prior-only ≈ 4 pp Acc 落后完整方法；(2) 单侧条件表征已能带来 ~13 pp MFS；(3) K=3 vs. K=1 对 3B 小模型的增益显著 (+3.2 pp MFS)，对 7-8B 中型模型增益逐步收窄，可作为推理预算与精度的 trade-off 设计依据。

层敏感性 (Figure 5) 显示选层是平台型问题：在中层至深层都能拿到接近最优，工程上不必对每个 backbone 单独网格调参。

5. 局限与未来方向

作者在 Appendix G 自述三点局限：(1) backbone 局限于 Llama-3.x / Qwen-2.5，未在 mixture-of-experts、reasoning-distilled 模型 (DeepSeek-R1、QwQ) 上验证；(2) 检索侧只用 top-1 passage，多 passage 聚合与不同检索质量 (recall@k) 的影响未研究；(3) 冲突基准是 "静态构造" 的，真实 RAG 中的分布漂移 (时间敏感事实、对抗性投毒) 没有覆盖。

笔者补一条更隐性的：SABER 拒答标签 y_pk / y_ck 来自 "模型回答与 gold 一致"，对开放式生成（摘要、解释）天然不适用，泛化到开放生成需重设计标签。

6. 工业实践意义

对社区 UGC 搜索这种 "召回内容质量高度参差" 的场景，SABER 给出非常贴近上线的范式：

(1) 落地步骤。给现有 RAG 系统加 SABER 几乎不动 backbone：a. 选好层 ℓₚ / ℓc（中层 40-70% 即可，无需精调）；b. 离线在站内冲突 QA / 站内问答日志上构造 ~50K-100K PK / CK 标注样本；c. 训两个 MLP，单 GPU 跑数小时；d. 上线时只需 K=3 rollout + 2 次条件 self-evaluation 前向。

(2) 业务收益。最直接的是把 "自信胡说" 转化成 "安全拒答"，对应到产品就是 "展示原帖让用户自己判断" 的兜底逻辑，能显著降低 LLM 摘要在 UGC 噪声上的 risk-on-answered。Pareto 提升 19%-53% 的 risk 降幅意味着同样 coverage 下假阳显著减少。

(3) 部署成本。多 trace 在 7B 模型上单 query 需 ~6-8 次前向，是裸 RAG 的 2-3×，可以用 SGLang/vLLM 的 prefix sharing + speculative decoding (本日 Top-2 Graft 论文) 摊薄；阈值 τ 完全离线可调，所有 backbone 上 τ ∈ [0.40, 0.55] 范围内 MFS 波动 < 0.9%，业务方调 coverage 时不必担心翻车。

(4) 风险与配套。需要为 abstain 设计 fallback UX（例如："我们暂时没有把握给出答案，请查看以下相关帖子"），否则拒答率 > 20% 时用户体验下降明显；同时 self-prior 容易被 prompt 注入污染，K=3 rollout 内若出现 prompt injection 鼓励 "高自信"，建议把 self-prior 抽取限制在系统 prompt 之上的固定查询模板。