Scaling Laws for Cross-Encoder Reranking
语言模型与一阶段检索的 scaling law 已有研究,但重排尚无。本文首次系统刻画 cross-encoder reranker 在 pointwise/pairwise/listwise 三种目标下的 scaling law:排序质量随模型规模与训练曝光量呈可预测的幂律,可用小规模实验外推大模型。用最多 150M 参数的模型,在 MSMARCO-dev 与 TREC DL 上外推出 400M 与 1B reranker 的效果;并从拟合的联合 scaling law 推导算力分配规则,与等算力 checkpoint 对比发现检索指标常更偏好"数据多"的扩展,但最优策略取决于训练目标,外推通常偏保守。
INSIGHT给重排模型训练提供了"先小规模拟合幂律、再外推大模型"的预算规划方法,对要不要投入训练更大 reranker 的决策很实用。pointwise/pairwise/listwise 三种排序目标的 scaling 行为与最优数据-参数分配各不相同,提示团队按自身目标函数定制扩展策略。预测偏保守,可作为大模型训练投入的下界参考。作者承诺开源代码与评测协议。