Memento: Personalized RAG-Style Long-Retention Data Scaling for META Ads Recommendation
Meta Ads 团队针对长历史建模面临的 attention 稀释、系统效率、灾难性遗忘问题,提出 Memento:把用户历史当作文档语料、ad 请求当 query,用 Maximal Marginal Relevance (MMR) 检索兼顾相似度和多样性。分两条线落地:Representation Memento 检索历史 embedding 做特征增强,Data Memento 检索历史训练样本做多遍训练。配合 temporal chunking、INT8 量化、异步服务,相比 LastN 等线性扩展方案达到 5–10× 资源效率,端到端延迟 sub-10ms,多个广告 surface 上拿到 0.25–0.3% Normalized Entropy 提升。
INSIGHT把 RAG 思路反向用到推荐系统的长行为序列建模,是 LastN/SIM 之外一条新的可扩展路线。MMR 检索同时压住相似度和多样性,避免了 SIM 这类 attention-pooling 在序列变长后被高频行为淹没;INT8 + 异步服务把 RAG 这种本来重 IO 的方案压进 10ms 预算内。这套基础设施对社区搜索的长用户历史召回有直接借鉴价值。