BEAM: Joint Resource–Power Optimization for Energy-Efficient LLM Inference under SLO Constraints
BEAM 针对在线大模型推理中“已经满足 SLO 仍在浪费能耗”的问题,在 vLLM 上联合调节 GPU 频率、chunk size 和 microbatch 数,按请求到达与完成事件动态分配 TTFT/TBT 延迟余量。控制器配套轻量预测模型,单次决策低于 1 毫秒;论文报告端到端 GPU 能耗最高比 vLLM 降低 51%。
INSIGHT搜推系统常把 P95 延迟当作唯一约束,BEAM 提供了把剩余延迟预算转化为能耗收益的可插拔控制层。落地时可先在 vLLM 的离线回放和灰度流量上联合观测频率、批大小、chunk 策略与 TTFT/TBT,确认节能没有侵蚀 CTR 相关的实时特征或长尾请求。