SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling
Meta 提出的 SOLARIS 框架借鉴 LLM 推测解码的思想,解决推荐系统基础模型推理延迟过高无法在线服务的难题。核心思路是预测未来可能出现的 user-item 交互对,提前异步计算基础模型的 embedding 表征,将高成本推理与延迟敏感的在线服务路径解耦。该系统已部署在 Meta 广告推荐平台,覆盖每日数十亿请求,带来约 0.67% 的收入指标提升。
INSIGHTSOLARIS 的核心启示是推荐系统 Scaling Law 的落地路径:不必要求基础模型实时推理,而是通过"推测性预计算"将大模型的知识异步迁移到在线系统中。这种范式对于任何希望利用大规模模型提升推荐质量但受限于延迟预算的团队都极具参考价值。0.67% 的收入提升在 Meta 的体量下代表了巨大的绝对收益,验证了该思路的工业可行性。