Diagnosing LLM Reranker Behavior Under Fixed Evidence Pools
在固定文档池中隔离测试 LLM reranker 的排序行为,揭示不同模型的冗余处理差异。
INSIGHT通过控制实验发现,不同 LLM reranker 对文档冗余的处理策略存在显著差异。BM25 和 MMR 可作为可解释基准来诊断 LLM 排序偏差,为选择和调优 reranker 提供实证依据。
业务关联社区搜索中 UGC 内容冗余度高(大量相似帖子/评论),该研究的诊断方法可直接用于评估和选择适合高冗余场景的 LLM reranker。
证据在 345 个 Multi-News 文档簇上进行固定 8 文档池测试,对比 BM25、MMR 和多个 LLM reranker,定量揭示了各模型在词汇匹配与多样性优化间的排序策略差异。