Healthier LLMs: Retrieval-Augmented Generation for Public Health Question Answering 深度解读
1. 问题与动机
这篇论文的问题不是“RAG 是否有用”这个宽泛命题，而是更具体地问：在公共卫生问答这种高风险、政策经常更新、错误建议可能带来群体性影响的场景中，检索层到底怎样影响最终问答质量。作者指出，传统医学 QA benchmark 多偏向临床或生物医学知识，且大量采用 multiple-choice QA；这类设置会掩盖真实开放问答中的错误，因为模型可以利用选项线索做排除，而不一定真正找到了官方指南中的证据。论文引用既有结果说明，从 MCQA 转到 free-form answer 时，LLM 平均准确率下降 39.4%，人类下降 22.3%，并且即使遮住题干，MCQA 仍能比随机高 6.7%，这说明选择题成绩会高估系统能力。
作者基于 PubHealthBench 做 follow-up，把同一批英国政府公共卫生指南作为可检索知识库，让模型从 687 份官方 guidance 文档中检索证据，再回答 7,929 个问题。其动机对搜索/推荐从业者很熟悉：生成模型是否可靠，主要取决于前面的召回、排序、切分和上下文选择。如果检索把正确 chunk 放得太靠后，或者长 chunk 混入多个主题，模型即使很大也会把不必要的上下文写进答案。对社区搜索而言，这对应“用户问一个短 query，系统从帖子、问答、评论里找证据再组织答案”的真实链路。
2. 方法详解
数据层面，论文使用 PubHealthBench QA benchmark：PubHealthBench-Full 含 7,929 个由单个 guidance chunk 自动生成的多选问题，PubHealthBench-FreeForm 含 760 个经专家人工审查的问题，用于更接近真实开放问答的评估。原始语料来自 687 份英国政府公共卫生 guidance 文档，作者把文档转换为 markdown，并按 markdown header 层级切分，同时把完整 header hierarchy 附加到 chunk 中作为结构上下文。这个设计很关键，因为公共卫生指南大量依赖章节标题来限定语义，类似 UGC 搜索中帖子标题、话题、楼层和评论上下文会影响片段含义。
检索部分比较了五类设置。第一类是 dense embedding retrieval：query 和 chunk 用同一个 text embedding model 编码，按 cosine similarity 排名。评测模型包括 NV-Embed-v2、SFR-Embedding-Mistral、OpenAI text-embedding-3-large、Multilingual-E5-large、Multilingual-E5-large-instruct、EmbeddingGemma、ModernBERT-base、MedCPT-Query-Encoder 等，覆盖 0.1B 到 8B、768 到 4096 维、512 到 32768 上下文长度。第二类是 sparse retrieval，用 TF-IDF 和 BM25 建索引。第三类是 hybrid retrieval，把 dense 和 sparse 两个 ranked list 用 weighted Reciprocal Rank Fusion 合并，融合权重按模型搜索最优值。第四类是 summary-based hybrid retrieval：先用 GPT-4o-mini 为每个 chunk 生成 summary，在 summary corpus 上检索，但下游生成仍传入对应 full chunk。第五类是 reduced-corpus hybrid retrieval：对超过 512 tokens 的 chunk 用 summary 替代，512 的阈值与 Multilingual-E5 tokenizer capacity 对齐。
生成部分，作者把检索到的 top-k chunk 带 chunk identifier 和分隔符拼成 context block，再插入 question 和简短指令，要求模型使用上下文回答。生成模型覆盖 Llama 3.3、Phi-4、Gemma-3、MedGemma、Command-R 等 11 个模型。MCQA 设置从三个代表性检索配置抽取 top-k，其中 k 取 1、3、5、10；free-form 设置使用相同三组检索配置，但为了接近真实长上下文场景，k 设为 50，并限制 context block 到 32,000 tokens。
评估层面，检索指标包括 Precision@1、Recall@5、Recall@10、MRR、nDCG@10。因为每个 query 在标注中只有一个 target chunk，Recall 衡量是否找回，MRR 和 nDCG 衡量正确 chunk 是否排在前面。free-form 回答用 rubric-based LLM-as-a-judge，评估 faithfulness、completeness、factual consistency、clarity 四项，并让两位人工专家独立标注 100 个响应，计算 Cohen's kappa 和 macro-F1 的 95% bootstrap confidence interval，用来验证自动 judge 是否可信。
3. 核心技术贡献
第一，论文把 PubHealthBench 从“只测模型答题”扩展为“同时测检索层和生成层”的 RAG benchmark。它不是只报告最终 QA accuracy，而是把 retrieval Precision@1、Recall@5/10、MRR、nDCG@10 与 MCQA、free-form faithfulness/completeness 连接起来，能够看到问题出在召回、排序、上下文长度还是生成。
第二，论文系统比较 dense、sparse、hybrid 和 summary/reduced corpus 的影响，给出一个很实用的结论：hybrid retrieval 在所有 embedding model 上都提升检索指标，但最优 RRF 权重依赖模型；summary-only corpus 没有成为最佳设置，说明“先摘要再检索”不能简单替代结构化 chunking。这个结果对工业检索尤其重要，因为它反驳了“只换更大 embedding 就能解决”的直觉。
第三，论文把 free-form 评估中的 LLM judge 做了人工验证，并指出 faithfulness 和 completeness 相对可靠，factual consistency 和 clarity 则较难复现人工判断。这个贡献避免了把自动评估当成真值；对搜索产品来说，相关性和答案可信度评测也需要区分哪些维度可以自动扩展、哪些仍要人工抽检。
第四，论文展示了小模型加优质检索可以接近或超过大模型闭卷回答。作者在讨论中强调，检索质量可以补偿参数规模，在预算、延迟和部署约束下，比单纯换大模型更现实。这为企业内部知识问答、社区搜索助手和垂直内容 QA 提供了清晰工程路线。
4. 实验结果分析
检索表格显示，dense-only 设置下 NV-Embed-v2 最强：Precision@1 = 0.76，Recall@5 = 0.96，Recall@10 = 0.98，MRR = 0.85，nDCG@10 = 0.88。SFR-Embedding-Mistral 紧随其后，Precision@1 = 0.71，Recall@10 = 0.97，nDCG@10 = 0.85。OpenAI text-embedding-3-large 和 Multilingual-E5-large 的 Recall@10 都达到 0.96，nDCG@10 为 0.83。值得注意的是，BM25 的 Precision@1 = 0.65、nDCG@10 = 0.79，超过 EmbeddingGemma 和 MedCPT-Query-Encoder，说明公共卫生指南这类规范文本中，术语匹配仍然很强。
| 设置 | Precision@1 | Recall@5 | Recall@10 | MRR | nDCG@10 |
|---|
| NV-Embed-v2 dense-only | 0.76 | 0.96 | 0.98 | 0.85 | 0.88 |
| SFR-Embedding-Mistral dense-only | 0.71 | 0.94 | 0.97 | 0.81 | 0.85 |
| text-embedding-3-large dense-only | 0.68 | 0.92 | 0.96 | 0.78 | 0.83 |
| Multilingual-E5-large dense-only | 0.68 | 0.91 | 0.96 | 0.78 | 0.83 |
| BM25 sparse-only | 0.65 | 0.87 | 0.91 | 0.75 | 0.79 |
| EmbeddingGemma dense-only | 0.27 | 0.55 | 0.69 | 0.41 | 0.47 |
Hybrid retrieval 的收益很稳定。例如 NV-Embed-v2 hybrid 后 Precision@1 = 0.80、Recall@10 = 0.99、nDCG@10 = 0.91；SFR-Embedding-Mistral hybrid 后 Precision@1 = 0.76、Recall@10 = 0.99、nDCG@10 = 0.88；Multilingual-E5-large hybrid 后 Precision@1 = 0.76、Recall@10 = 0.98、nDCG@10 = 0.87。小模型也明显受益，EmbeddingGemma hybrid 后 Precision@1 从 0.27 升到 0.63，Recall@10 从 0.69 升到 0.93，nDCG@10 从 0.47 升到 0.78。这说明 RRF 不是锦上添花，而是能把弱 dense model 拉到可用区间。
Chunk 长度实验也很有实践意义。作者发现 target chunk 变长时，Recall 只小幅下降，但 Precision@1、MRR、nDCG@10 这类 rank-sensitive metric 会明显下降。直观原因是长 chunk 混合多个概念，embedding 的区分度下降；summary 或 reduced corpus 能缓解但不能完全解决。主题分析中，guidance topic 对 nDCG@10 的总体方差解释不到 1%，但不同主题的平均排序质量仍有系统差异，低表现主题如 Blood Safety、Hepatitis、STIs/HIV 与高表现主题如 Tuberculosis、Travel、Zoonotic and Emerging Infections 之间存在可见差距。
MCQA 结果显示，加入检索上下文后，除 Gemma-3-1B 外所有模型都超过带粗略搜索的人类 baseline，多个模型也达到或超过 GPT-4.5 无检索的表现。表中 Llama-3.3-70B 总准确率 0.995，MedGemma-27B 0.992，Gemma-3-27B 与 Phi-4-14B 均为 0.989，Llama-3.1-8B 也有 0.979。作者还发现多数模型在少量 context chunks 时达到最高 MCQA accuracy；增加到更多 chunk 会带入噪声，只有 Llama-3.3-70B 在更大上下文下仍有小幅收益。目标 chunk 是否被检索到是最大收益来源，而目标 chunk 的排名是稳定的次级收益，长上下文噪声越多，排名越重要。
LLM judge 验证揭示了自动评估的边界。Completeness 的人类一致性较高，inter-reviewer macro-F1 = 0.88，judge 对两位 reviewer 的 macro-F1 分别约 0.79 和 0.78；Faithfulness 也相对可用，judge macro-F1 约 0.82/0.85。但 factual consistency 很弱，judge-human macro-F1 只有约 0.53/0.59，kappa 接近 0 或很低。free-form 结果中，中大型模型 completeness 和 clarity 通常在 0.88 到 0.97，但 faithfulness 是主要失败点；即便大模型也只有大约一半到三分之二回答通过 faithfulness，且目标 chunk 排名越靠后，faithfulness 下降越明显。
5. 局限与未来方向
作者明确列出几个限制。第一，检索评估把 relevance 当成 binary，而且每个 query 只有一个 target chunk；现实中许多公共卫生问题可能由多个 passage 支撑，所以单目标指标只能部分反映检索质量，也可能低估替代相关 chunk 的价值。第二，chunk length 分析依赖已有 chunk 结构，而不是在同一文本上系统改变 chunk size，因此只能说明相关性，不能完全证明因果。第三，主题级 ranking variability 的底层原因没有被隔离，可能来自主题语言、格式、文档结构或 query 表述差异。
第四，MCQA 仍然会允许排除法等 partial-credit 行为，因此检索带来的 MCQA 提升可能高估真实开放问答能力；尤其是即使 top-ranked chunk 不是标注 target，模型仍可能取得高准确率。第五，free-form judge 按单个 reference chunk 评估 faithfulness，无法区分“确实无依据的扩展”和“由语料库其他地方支持但不在当前证据块中的陈述”。第六，factual consistency 的 judge-human agreement 太弱，不能把全量自动分数当成最终结论。最后，因为 PubHealthBench 问题来自 guidance 本身，天然可由 corpus 回答，尚未测试多 chunk 推理和 out-of-corpus query 中的安全拒答。
未来方向也比较清楚：检索标注要从单 target chunk 扩展到多相关证据；chunking 需要更系统的结构化/主题化实验；free-form 评估要加强 factual consistency；benchmark 需要加入多证据推理、不可回答 query 和知识库外问题。对搜索团队来说，这些都是从离线 benchmark 走向线上真实 query 必须补齐的部分。
6. 工业实践意义
对社区搜索和 UGC 短文本检索，最直接的结论是：不要把 RAG 搜索质量简化为“选哪个 embedding model”。论文显示，BM25 在规范文本上仍强于部分 dense model，而 hybrid retrieval 可以显著改善弱模型表现；因此生产系统应默认保留 sparse signal，并用 RRF 或学习融合做第一版，而不是纯向量替换关键词检索。对于短 query、口语化 query、实体名和缩写密集的社区内容，这一点更重要，因为 dense model 容易漏掉精确实体，BM25 又容易漏掉语义改写。
第二，chunk 设计应进入检索指标面板。论文发现长 chunk 会显著损害 rank-sensitive metrics，这对应社区帖子中“长帖、楼中楼、多话题评论”导致 embedding 语义被稀释的问题。工程上可以把帖子正文、标题、标签、评论、问答采纳答案拆成不同字段索引，并比较 full chunk、summary chunk、reduced chunk、结构化 chunk 的 nDCG@10 和 Precision@1，而不是只优化 recall。
第三，最终答案或搜索助手的质量高度依赖目标证据的排名，而不只是是否在 top-k 内。论文中 free-form faithfulness 随目标 chunk 排名下降而明显变差，这对产品有直接含义：如果答案生成只读取 top 10 或 top 50，排在后面的正确证据很可能被模型忽略，甚至被无关上下文污染。实际部署时，应把 cross-encoder rerank、LLM rerank 或规则约束放在生成前，并限制传入上下文的主题混杂度。
第四，小模型加好检索是可行的成本路线。论文显示多个开源中小模型在高质量检索上下文下可以超过无检索大模型，这对需要私有化、低成本或低延迟部署的社区搜索尤其重要。可以先把预算投到语料清洗、索引切分、hybrid fusion、rerank 和评测集建设，再决定是否升级生成模型。
第五，评估体系要拆成可操作的层次：检索层看 Precision@1、Recall@5/10、MRR、nDCG@10；生成层至少区分 completeness 和 faithfulness；factual consistency 不能完全交给 LLM judge，需要人工抽检或更强验证。对搜索/推荐团队，这意味着离线日报里应同时保留“召回是否命中”“相关证据排第几”“答案是否只使用证据”“是否遗漏关键点”四类指标，才能定位问题到底在召回、排序、上下文组织还是生成。
Google