Quantifying Prior Dominance in RAG Systems
RAG 评测普遍用离散启发式指标,无法区分模型是真用了检索上下文还是靠参数记忆答题(作者称 epistemic blindness)。论文提出 Normalized Context Utilization (NCU) 指标,利用零样本、oracle、对抗三种条件下的连续 token 对数概率,量化上下文带来的真实信息增益。在 1.5B–72B 多个模型加一个商用 API 上评测发现:严格事实抽取(不带思维链)时传统 scaling law 出现极强边际递减,高效小模型 (SLM) 能追平甚至超过大模型;先验主导 (Prior Dominance) 程度随模型规模和闭源对齐而增强。
INSIGHT对评估 LLM 在搜索/RAG 中是否真读了召回内容很有参考价值——NCU 用 log-prob 差值替代字符串匹配,能识别模型是否只靠参数记忆。结论提示在事实抽取类检索任务上盲目堆大模型收益有限,小模型加强检索可能更划算,对成本敏感的社区搜索 RAG 选型有直接启发。