Scaling Laws for Embedding Dimension in Information Retrieval
论文把向量维度从编码器隐藏维度中独立出来,在 BERT 与 Ettin 两个双塔家族上联合改变模型规模和 embedding 维度,覆盖约 439 万至 10.28 亿参数、32 至 28672 维,并拟合联合 scaling law。MS MARCO 与 TREC DL 上维度增大呈稳定但递减收益,论文进一步给出固定推理 FLOPs 下的成本最优配置。
INSIGHT向量维度不应再被视为 backbone 的固定附属参数,而应和模型规模、索引存储及 ANN 打分成本一起做容量规划。对社区短文本召回,可先用联合 scaling law 在 nDCG/召回率与单向量成本间选 Pareto 点,再用域外帖子与长尾 query 验证;论文也提醒域外任务的维度收益明显不如训练同分布平滑。