When Do Anchor-Based Pointwise LLM Rerankers Help? Retriever Quality, Statistical Scope, and Anchor Design
论文复现 anchor-based pointwise LLM 重排,首次仅按论文文字实现时 nDCG@10 只有 0.24,而原报告为 0.66;补齐 8 个实现细节后,结果误差缩小到 1.6%。跨数据集实验发现,对 BM25 有帮助的对比分数在 E5 等强稠密召回器上收益很小,简单交错 top 句子即可替代复杂 anchor。
INSIGHT对社区短文本搜索,先按召回器类型决定是否启用 LLM 重排:BM25 候选更值得尝试,对强 dense 候选应先做增量收益评估。上线前必须记录 tokenizer、截断、anchor 拼接等实现细节,并用 query 分桶验证收益,避免把论文中的复杂结构直接照搬到 P99 链路。