ECI: Effective Contrastive Information to Evaluate Hard-Negatives
提出基于信息论的 ECI 指标,在不进行实际微调的情况下预测难负例集合对稠密检索模型的训练效果。ECI 综合考量信息容量与判别效率,并对生成式方法中常见的假阳性负例进行惩罚。在 BM25、交叉编码器和 LLM 生成的难负例集上验证,ECI 能准确预测检索性能,发现 BM25+交叉编码器混合策略效果最优,大幅降低了选择难负例的计算成本。
INSIGHTECI 将难负例质量评估从「训后验证」前移到「训前预测」,通过信息论框架量化负例的有效对比信息量,这对搜索排序模型迭代优化极具实践意义——无需反复训练即可评估不同难负例策略。其发现的 BM25+交叉编码器混合策略也为工业界提供了简单有效的最佳实践路径。