Scaling Laws for Embedding Dimension in Information Retrieval
系统研究了稠密检索中嵌入维度与检索性能之间的幂律关系。
INSIGHT嵌入维度与检索性能遵循幂律:与训练数据对齐的任务上持续收益递减,但分布外任务可能随维度增加反而退化。
业务关联为社区搜索选择 embedding 维度提供理论依据——可在存储成本、计算效率和检索质量之间找到最优平衡点。
证据跨多个模型族(BERT/T5/大语言模型)和多个 IR 基准实验,发现对齐任务上 nDCG@10 提升遵循 d^(-α) 幂律衰减,最优维度因模型和数据而异。