Benchmarking LLM Agents on Meta-Analysis Articles from Nature Portfolio
针对系统性科学推理,作者构建 MetaSyn——442 篇来自 Nature 子刊、专家整理的 meta 分析数据集,每条含研究问题、PI/ECO 筛选标准、14 万篇 PubMed 检索语料、已核验的正例研究,以及主题相近但不符合 PI/ECO 的难负例。在 12 种流水线(9 种 RAG 变体加一个协议驱动 agent)上评测发现:检索召回上限可达 90.9%(K=200),但没有任何系统能恢复超过 52.7% 的真实正例,瓶颈卡在筛选环节,不在检索。
INSIGHT该基准把“检索-筛选-综合”全链路拆开评测,定位出 agent 在多步检索任务里的真实短板是筛选判断:召回能到 90.9%,可用筛选只剩 52.7%。对社区搜索的启示是,用 LLM agent 做多轮取证式搜索时光堆召回收益有限,把算力投到候选的相关性判别(区分难负例)才是收益点。其难负例构造方式(主题相似但标准不符)也值得搬到搜索相关性评测集的建设上。