Domain Fine-Tuning vs. Retrieval-Augmented Generation for Medical Multiple-Choice Question Answering: A Controlled Comparison at the 4B-Parameter Scale
在 4B 量级开源模型上做 "领域微调 vs RAG" 的对照实验:固定模型大小、prompt 模板、解码温度、检索流水线和评测协议,仅变化 (i) 是否进行领域适配(Gemma 3 4B vs MedGemma 4B,均为 4-bit 量化、Ollama 部署)和 (ii) 是否注入医学知识库检索段落。在 MedQA-USMLE 1,273 题、3 次重复(共 15,276 次调用)下,领域微调相对通用 4B 提升多数投票准确率 +6.8pp(53.3% → 60.1%);论文进一步分析了 RAG 与微调的可叠加性。
INSIGHT对实践者最有价值的不是结论本身,而是这种 2×2 受控实验设计:在线上要决定 "小模型微调还是接 RAG" 时,常被混入 prompt、检索器、解码参数等多变量噪声。社区搜索语义匹配/相关性模型选型时,可复用本文方法——固定除变量外的全部条件、跑足够多次取多数投票,得到的结论才能作为线上路由决策依据,而不是凭一次 demo 拍板。