GIFT: Geometry-Informed Low-precision Gradient Communication for LLM Pretraining
GIFT 针对 LLM 预训练中的梯度通信瓶颈,提出 geometry-informed 的低精度通信方法:先把高度各向异性的梯度变换到近似各向同性坐标,再用 FP8/NVFP4 等低精度格式通信。论文在 Llama-300M 和 Llama-600M 上验证收敛,在 64 张 NVIDIA GH200 Superchips 上让 Llama-600M 端到端预训练时间减少 7.6%,同时比直接欧氏 FP8 更好地保持下游任务表现。
INSIGHT低精度通信的关键风险不是位宽本身,而是梯度方向在普通坐标系下被不均匀扭曲。GIFT 给训练平台一个很实用的设计方向:在不改 optimizer、训练 recipe、collective 和低精度格式的前提下,通过坐标变换改善通信保真度,适合作为大规模搜推模型预训练集群的通信优化插件。