Predictable Failure in Multi-Hop Retrieval: Score-Distributional Confidence Scoring and Abstention
论文研究多跳检索中可预测的高置信错误,以最多 9 个查询及 ANN 分数结构特征构建逻辑置信度模型,无需新增 LLM 调用。在三个基准、五种失败条件下比较八个基线;MuSiQue 的 LLM 评判设置中,覆盖率 50% 时错误率由 39.5% 降至 20.6%,校准误差 ECE 为 0.035。
INSIGHT该方法优化的是保留哪些查询及何时拒答,并未证明所有查询的检索准确率都能提高。社区搜索可借鉴其分数分布特征,识别低把握的短查询并路由到改写或补充召回;应同时报告覆盖率、nDCG 与兜底成本,不能把放弃一半查询后的错误率下降直接当成全量 CTR 收益。