When Retrieval Doesn't Help: A Large-Scale Study of Biomedical RAG
论文在生物医学问答上系统重检验“RAG 一定有用”这个假设,覆盖 5 个 7B–72B 开源指令模型、10 个生物医学 QA 数据集、4 种检索方法、4 个检索语料。结论是:检索相比无检索基线只带来小且不稳定的提升,通常在 1–2 个点以内;而更换 backbone 模型的影响远大于更换检索器或语料,专家来源与通俗来源的检索效果也接近。作者判断瓶颈不在检索质量本身,而在模型利用检索证据的能力有限。
INSIGHT一项大规模负结果,提醒搜索团队别默认“加 RAG 就涨指标”。可借鉴的方法论是:上 RAG 前先做“无检索 baseline 加换 backbone”对照,确认增量真来自检索而非模型本身;当检索增益只有 1–2 个点时,资源应转向提升模型对证据的利用能力(证据对齐训练、引用约束解码)而不是反复调检索器。对社区搜索这类噪声多的 UGC 语料尤其值得警惕。