How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models
论文系统研究了循环 (looped / depth-recurrent) 语言模型的 scaling 行为。基于 116 次预训练 (recurrence count r ∈ {1,2,4,8}、跨 ~50× 训练算力),作者拟合了联合 scaling law L = E + A·(N_once + r^φ N_rec)^{-α} + B·D^{-β},得到全新的 recurrence-equivalence 指数 φ = 0.46。结论是:当 r=4 时,410M 循环模型与 580M 非循环模型表现相当,但训练成本却接近 1B 非循环模型;用 truncated BP 训练时 φ 进一步降至 0.38。
INSIGHT这是首次将循环语言模型的“块复用收益”量化为一条可外推的 scaling law。φ=0.46 介于完全等价(1)与完全无效(0)之间,给了工程团队一条清晰的 ROI 公式:循环能省参数但不省训练算力。对于推理侧的搜索/推荐系统,循环架构常被作为参数压缩手段(小模型反复调用),论文提醒我们:要在“参数预算 vs 训练预算 vs 推理 latency”三角中真正算清楚帐,并且 truncated BP 这种省内存技巧会进一步稀释循环的收益。