Prompt-Based Abstention Fails Under Misleading Context: A Controlled Study of Small Frozen RAG Models
论文提出 GRAB-RAG,使用 Natural Questions 和 HotpotQA,把上下文分成支持、退化、缺失和误导四种条件,测试 3.8B–8B 冻结模型的 5 种拒答策略。模型面对缺失证据时能拒答,但面对误导证据仍有 41.6% 的问题直接作答,其中 63% 原样复述被植入的错误实体;生成侧冲突检查可将错误率降到 13.3%,代价是丢失大量正确答案。
INSIGHTRAG 的安全闸门不能只问“证据够不够”,还要问“证据是否可信且彼此一致”。对 UGC 搜索 Agent,应把检索结果的来源质量、实体一致性和多证据冲突作为独立特征,在线记录误导样本;单靠 prompt 拒答或一次 NLI 校验,无法覆盖模型记忆与错误文档共同指向同一答案的情况。