Fast Engine Recovery: Sub-Second Engine Restart for SGLang via Weight Cache Daemon
针对大模型服务重启时反复读取权重、量化和分片的开销,团队让独立守护进程持有处理后的GPU权重,并通过CUDA IPC供新引擎零拷贝映射。Ling-2.6-1T FP8实验中,权重加载由约495秒降至0.63秒,完整启动由约8.8分钟降至0.528分钟;标题中的亚秒恢复不等于所有启动阶段都已达到亚秒。
INSIGHT社区搜索的查询理解和文本标注服务可将权重生命周期与执行引擎解耦,缩短发布、故障恢复和多实例切换的停顿。试点应核对模型版本、张量布局和量化配置,分别测量权重映射、分布式初始化及首个请求耗时;共享权重带来的收益还依赖守护进程存活及可用显存。
业务关联社区UGC短文本搜索;系统层面的效率或稳定性收益需结合nDCG、CTR与时延回归验证。