Coverage, Not Averages: Semantic Stratification for Trustworthy Retrieval Evaluation
将检索评估形式化为统计估计问题,指出当前基于启发式构造的查询集会引入隐含的固有偏差,导致评估指标不可靠。提出语义分层 (Semantic Stratification) 方法,将文档组织为基于实体的语义簇,为表征不足的区域系统性生成查询,提供形式化的语义覆盖保证。在多个 benchmark 和检索方法上进行了实验验证。
INSIGHT检索系统评估的核心挑战不在于模型好坏,而在于评估集的构造偏差。该论文的语义分层方法为搜索系统提供了一种更可靠的离线评估框架——通过保证语义空间的均匀覆盖来消除评估盲区。对 UGC 搜索场景中的 nDCG 评估优化和 query 集构建有直接指导意义,可减少因 query 分布偏移导致的评估误差。