Retrieval Improvements Do Not Guarantee Better Answers: A Study of RAG for AI Policy QA
本文在 AI 治理与政策分析领域研究了 RAG 系统中检索质量提升与端到端问答质量之间的脱节现象。使用 947 篇 AI 政策文档构建的 AGORA 语料库,结合基于 ColBERT 的检索器(对比学习微调)和 DPO 对齐的生成器进行实验。结果表明,领域特定微调虽然提升了检索指标,但并不总能带来端到端问答的一致性提升,揭示了检索改进和生成质量之间的复杂关系。
INSIGHT该研究的核心启示在于:对搜索系统而言,仅优化召回和排序指标不足以保证用户体验的提升。ColBERT + 对比学习微调的检索器是值得尝试的技术选型,DPO 对齐可用于优化生成端。但更关键的是需要建立检索到生成的端到端评估体系,而非仅关注检索阶段指标。这对社区搜索场景中"搜的到但答不好"的问题提供了系统性的分析视角。