Preference Is Not Position: Evaluating Reranking on NevIR in Fixed Hybrid Candidate Pools
排对两篇近似文章,不代表好文章排到了前面。作者固定混合召回池,分别检查否定语义偏好与完整列表中的位置。量化大模型只重排前段候选并沿用融合结果处理同分时,正确文章的平均倒数排名达到 0.7509。
INSIGHT成对准确率和列表质量需要分开看。一个模型可以更常分清否定句,却把正确文档整体压到后面;固定候选池同时测量两类指标,能暴露训练目标与服务目标的错位。