Measuring Maximum Activations in Open Large Language Models
激活值的动态范围是低比特量化、激活缩放与稳定推理的一阶约束。已有工作刻画 outlier feature 与 massive activation 时用的是 2024 年前 LLaMA 风格模型,下游激活量化栈一直沿用旧结论,未针对 post-LLaMA 开源模型潮重新审视。论文用统一管线 (5000 样本多领域语料、按家族定制 tokenization、对 embedding/hidden state/attention/MLP·MoE/SwiGLU gate/final norm 用相同 hook) 测量 27 个 checkpoint、8 个开源家族的全局与逐层最大激活,覆盖 dense、MoE、视觉语言、中间训练态与指令微调变体。发现全局最大值跨度接近四个数量级。
INSIGHT这是一份面向部署的测量基线,价值在统一管线下横向可比:把激活动态范围按家族/代际/训练阶段拆开看,揭示旧 outlier 结论在新开源模型上不再适用,跨度近四个数量级意味着固定 clip/scale 的激活量化配置在不同家族间会失效。对搜索/推荐工程的直接用途:在为线上 LLM reranker 或 query 模型选 W8A8/W4A8 量化方案前,应按目标模型家族重测激活最大值再定 scale,而不是套用社区默认值。