1. 问题与动机
推荐系统的数据采集、存储和处理成本持续攀升，但业界缺乏关于「数据量增加到何时会停止带来显著收益」的系统性实证研究。已有工作结论矛盾：部分数据剪枝研究报告了 3% 的性能提升，而另一些则建议不要剪枝。深度学习在大数据集上的能耗约为传统 ML 的 8 倍，但性能优势并未得到充分验证。这一知识空白直接影响推荐系统团队的数据投资决策——在环境成本（平均研究消耗约 6,854 kWh 电力）和人力成本日益增加的背景下，理解数据 scaling 行为至关重要。
2. 方法详解
数据集选择：11 个大型公开数据集，均包含 700 万以上交互记录，涵盖 MovieLens-25M（3200 万交互）、Netflix（1 亿+）、Last.fm、Alibaba-iFashion、Amazon 等。数据预处理统一移除时间戳、确保 user-item 对唯一性，存储为 Parquet 格式。
采样策略：提供四种采样方法（随机、用户分层、物品分层、混合分层），最终选用绝对分层用户采样（Absolute Stratified User Sampling），确保采样保持用户比例。样本量设定 9 个级别：从 10 万到 1 亿交互。
算法评估：使用 LensKit 2025.2.0 和 RecBole 1.2.1 两大工具包，共 10 种算法组合——LensKit 端包括 PopScorer、ItemKNN、ImplicitMF、BiasedMF、BiasedSVD；RecBole 端包括 Pop、ItemKNN、BPR、NeuMF、SimpleX。10 算法 × 11 数据集 = 110 个实验组。
评估指标：NDCG@10（Top-10 推荐的归一化折扣累积增益），纯离线评估。所有实验在 University of Siegen OMNI HPC 集群上执行，使用 GPU 节点。
分析方法：三层递进分析——(1) 原始 NDCG 随样本量变化趋势；(2) 组内 min-max 归一化后的分布分析；(3) 最后 10-30% 数据段的斜率分析（Late-Stage Slope Analysis）。
3. 核心技术贡献
贡献一：首个大规模系统性 data scaling 实证。覆盖 10^5 到 10^8 交互区间的 110 个实验组，规模远超此前零散的数据剪枝研究。可复现的 Python 评估流程（含代码）为后续研究提供了标准化基线。
贡献二：「无饱和点」的强实证。在测试范围内，NDCG@10 未观察到明显的饱和拐点。最大样本量下约 75% 的实验点同时达到组内最优，min-max 归一化后数据点密集聚集在 (1.0, 1.0) 附近。
贡献三：弱 scaling 行为的归因。明确指出弱 scaling 仅集中在非典型数据集（Last.fm、Alibaba-iFashion）和个别算法异常（RecBole BPR 因运行时配置限制表现异常），而非普遍现象。
4. 实验结果分析
| 数据集/算法 | 小样本 NDCG@10 | 大样本 NDCG@10 | 趋势 |
|---|---|---|---|
| MovieLens / ItemKNN | ~0.05 (100K) | ~0.25 (32M) | 强上升 |
| Netflix / ItemKNN | ~0.03 (100K) | ~0.22 (100M) | 强上升 |
| Last.fm / Pop | ~0.001 | ~0.005 (100M) | 弱上升 |
| Alibaba-iFashion | < 0.002 全程 | < 0.002 | 几乎无变化 |
Late-Stage Slope 分析：中位斜率约 1.0（正向），四分位范围 [0.0, ~1.5] 完全非负，仅 8 个实验点斜率为零。下须线约 -2.25（极少数回退），上须线约 3.5。
归一化分析的核心发现：当组内归一化后，最大样本量处的数据点绝大多数位于 (1.0, 1.0) 附近，表明「更多数据 → 更好性能」在绝大多数 group 中成立。
异常值分析：RecBole BPR 表现异常归因于运行时配置约束；Last.fm 和 Alibaba-iFashion 的弱 scaling 可能反映数据集特有特征（极度稀疏、交互模式不同）而非普遍规律。
5. 局限与未来方向
作者明确提出以下局限：(1) 仅离线评估——NDCG@10 不直接等同于线上用户行为或 A/B 测试结果；(2) 超参未充分调优——优先保证运行可行性而非峰值性能；(3) 探索范围有限——未测试 1 亿以上交互的区间，长期饱和行为未知；(4) 未覆盖深度推荐模型——SimpleX/NeuMF 是相对轻量的深度模型，GPT/Transformer-based 推荐模型的 scaling 行为可能不同。
此外，论文指出 GUI 变化可带来 6% CTR 提升，暗示小数据集上的性能波动可能受非数据因素干扰。
6. 工业实践意义
数据策略指导：对于采用传统推荐算法（协同过滤、矩阵分解、浅层深度模型）的团队，本文提供了「持续增加数据量仍有价值」的量化证据。这直接影响数据采集/存储预算决策——在 1 亿交互量级内，不应因假设饱和而削减数据投入。
算法选择参考：ItemKNN 类算法在多数据集上表现出最强的 data scaling 行为，而 BPR 在配置约束下表现不稳定，提示团队在资源受限时优先选择 scaling 行为稳健的算法。
环境成本意识：研究报告了约 6,854 kWh 的能耗数据，提醒团队在追求数据 scaling 收益时需权衡计算成本。建议先在子采样上评估 scaling 趋势再决定是否投入更大规模训练。
可复现框架：论文开源的评估流程可直接用于其他推荐场景的 data scaling 预评估，避免盲目扩大数据量。