LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation
验证推荐系统序列建模遵循类 LLM 的幂律缩放定律。
INSIGHT语义特征是推荐系统 Scaling Law 的前提条件,它使模型能有效利用更深更长架构的容量。通过两阶段架构将大规模长上下文模型的计算异步卸载到上游用户模型,可在不增加在线延迟的前提下持续扩展模型能力。
业务关联社区搜索的排序模型可借鉴该多阶段架构,将用户长期兴趣建模异步化处理,在保持低延迟的同时提升个性化排序精度和转化率。
证据作为 Meta 最大规模用户模型部署在 Facebook Feed 和 Reels,实现 4.3% 的转化率提升,在线服务开销极低。