Retrieved but Not Read: Understanding Why Search-Augmented LLMs Fail to Use Available Evidence
搜索找到新证据,模型仍可能给出旧答案。作者把已经变化的事实交给带搜索能力的模型,区分证据是否出现与是否被真正使用。受控实验覆盖6种开放权重配置,发现只读摘要和不可靠引用相伴出现。
INSIGHT检索成功与答案更新是两个不同环节。搜索质量诊断可以分别记录找到证据、打开原文和最终采用证据的比例;这样能分清是召回失败,还是模型读到了材料却仍沿用旧知识。