To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining
该论文系统研究语言模型预训练中参数化知识(模型记忆)与非参数化知识(检索增强)之间的 scaling trade-off。作者训练了从 30M 到 3B 参数的 OLMo-2 模型,预训练数据量达 100B tokens,同时变化预训练语料和检索库大小。核心发现:检索在所有模型规模上一致优于纯参数化基线,但检索的边际价值随模型大小、任务类型和训练饱和度显著变化。提出了可预测数据资源分配的 scaling 框架。
INSIGHT这项研究为 RAG 系统的资源分配提供了定量指导——在固定计算预算下,何时应该增大模型、何时应该扩大检索库。对于搜索推荐系统而言,这直接关系到是投资更大的排序模型还是更丰富的文档索引。论文发现检索对小模型的提升最大,这为中小团队使用 RAG 增强轻量级推荐模型提供了理论依据。Scaling law 框架可直接指导生成式推荐系统的参数分配策略。