Predictive Scaling Laws for Efficient GRPO Training of Large Reasoning Models
本文首次建立了 GRPO(Group Relative Policy Optimization)训练的预测性 Scaling Law。通过在 Llama 和 Qwen 模型(3B/8B)上的系统实验,推导出基于模型规模、初始性能和训练进度的经验缩放定律。发现训练过程呈三阶段特征:慢启动、快速提升、平台期。在超过一定 epoch 后,继续训练几乎无收益,表明 early stopping 可显著节省算力。
INSIGHT该 Scaling Law 使 LLM 推荐系统的 RL 微调变得可预测和可规划。对于基于 GRPO 的生成式推荐模型对齐(如偏好优化),工程团队可据此预判训练收益拐点,避免无效算力投入。三阶段训练动态模型对推荐场景中的在线学习和增量训练策略设计也有直接参考价值。