OpScale: Operator-level Provisioning and Autoscaling for LLM Serving
OpScale 不再把整模型视为自动扩缩容单元,而是利用算子负载异质性,在画像、容量规划、放置和运行时服务四个环节实施算子级弹性。基于生产流量轨迹、最多 40 张 A100 与 24 张 GB200 的评测显示,在满足 SLO 时 GPU 最多减少 36.3%、功耗降低 28%,固定成本下吞吐提升 44%。
INSIGHT算子级扩缩容把资源调度粒度从副本推进到计算图内部,适合突发流量和预填充、解码负载差异明显的在线服务。落地时应优先建设可靠的算子画像与放置搜索剪枝,并以 TTFT、TPOT、功耗和故障切换作为联合约束,避免细粒度编排反过来增加控制面开销。