02 3.70
Making LLMs faster without sacrificing accuracy (Surefire architectural scaling law)
AmazonAWS AI Labs 在 Chinchilla scaling law 基础上引入三个架构因子（hidden size d_model、MLP-to-attention 比例、GQA），把架构选择直接纳入 loss 预测。发现 LLaMA-3.2 风格模型最优 MLP/attention 比约为 1.0，远低于现有开源权重（LLaMA-3.2-1B 为 4.8），即现有模型在 MLP 层过度分配参数。据此训练的 Surefire-1B 在 H200+SGLang 上吞吐提升 47% 且精度不降，Surefire-3B 提升 12–17%，结论在 A100/H200 与 vLLM/SGLang 上一致。ICLR 2026。
INSIGHTscaling law 不只决定参数量，架构比例本身可纳入 loss 预测来指导设计：MLP/attention 比从 4.8 降到 1.0 即换来 47% 吞吐。对搜索/推荐的实践启示：若用 LLM 做 query 理解、生成式召回或重排，backbone 的 MLP 膨胀系数与 GQA 配置直接决定线上延迟和单卡吞吐成本，按该 scaling law 重选架构比单纯堆参数更划算。
Amazon AWS AI Labs (ICLR 2026)
技术博客·2026-05-15·Relevance 2 · Novelty 4 · Practical 4 · Evidence 4 · Timely 4