Memento: Personalized RAG-Style Long-Retention Data Scaling for META Ads Recommendation
Meta 提出 Memento:把广告推荐场景的超长用户历史当作“文档库”,把当前广告请求当作 query,用 Maximal Marginal Relevance (MMR) 检索出相关历史交互注入模型。两个互补应用:Representation Memento 检索历史 embedding 做特征增强,Data Memento 检索历史训练样本做多轮训练。通过时序分块、INT8 量化和异步 serving 协同设计,相比线性扩展达到 5–10× 资源效率,日处理请求亚 10ms 延迟,在 baselines 上获得 0.25–0.3% Normalized Entropy 增益。
INSIGHTMemento 把“长序列建模”从“一次性塞进 transformer”改写成“RAG 风格的按需检索”,绕开了 attention 稀释、catastrophic forgetting 与系统效率三座大山。两层应用(Repr / Data)分别覆盖在线服务和离线训练两条主线,是当前“RAG 思路反哺推荐”最完整的工业范例。对社区搜索来说,用户的长期 query/点击历史完全可以套用 MMR 检索来做个性化重排,比起直接 SFT 一个 50k-token 历史窗口的 LLM 更现实。