02 3.40
Evaluating Biomedical Reranking for LLM-Based Question Answering over Longitudinal Clinical Notes
论文评估长时序临床记录中的证据检索,组合PubMedBERT稠密召回、BM25、加权 RRF 及MedCPT cross-encoder 重排。在200名患者的1000个问答对上,Hit@10从46.6%升至60.6%,MRR从0.2371升至0.3252;Qwen3-8B答案正确率仅从44.8%升至48.6%。
INSIGHT结果说明重排能改善有限上下文中的证据位置,但检索收益不会等比例变成答案收益。社区帖子与评论也常出现重复表达和信息分散,可以测试混合召回加领域 cross-encoder,并分别衡量nDCG、证据命中和CTR。医学语料上的14个百分点Hit@10提升不能直接外推为UGC收益,应建立独立评测集。
Maryam Shahbaz Ali, Laura B. Strachan, Caitlin Sherman, Mark Kovler, Eleanor Mackey 等 6 人
arXiv·2026-10-01·Relevance 4 · Novelty 2 · Practical 4 · Evidence 3 · Timely 4