One Pool, Two Caches: Adaptive HBM Partitioning for Accelerating Generative Recommender Serving (HELM)
生成式推荐 (GR) 在线推理面临 EMB 热缓存与 KV 缓存争抢 GPU HBM 的问题,二者最优分配比可在不同负载下偏移高达 0.35,孤立优化各损失 20–30% 时延。HELM 提出运行时联合管理 HBM 和请求路由:由三层 PPO 控制器(冷启动基策略 + 在线残差 adapter + 突发恢复控制器)做 32μs 决策延迟的内存重分配,并通过分批预取与请求路由避免 H2D 流量打到关键路径触发 P99 SLO 违例。生产规模实验显示 P99 时延降低 ~25%,HBM 利用率显著提升。
INSIGHTGR 上线最大的隐藏成本不是模型本身,而是“EMB 与 KV 双缓存”在 HBM 上的资源博弈。HELM 把这个分配问题建模成 RL 控制问题并解耦了“快策略 + 慢恢复”的双时间尺度,是搜推 serving 工程少见的“OS 级”创新。对自研生成式推荐栈的团队,可借鉴:(1) 不要把 EMB 缓存与 KV 缓存视为静态切分;(2) 决策器要做到 μs 级才能跟上请求 burst;(3) 把 H2D refill 流量挪出关键路径是保 SLO 的关键。