Enhancing Ad Relevance: Integrating Real-Time Context into Sequential Recommender Models
Pinterest 针对离线序列用户向量缺少请求时上下文,在 Transformer 双塔 query 侧加入实时 context layer,以正样本合成上下文训练,并采用“离线序列编码+在线 context/MLP”混合推理。上线后 Recall@K 提升 3–10 倍,中位相关性提高约 275%–300%,交付候选翻倍,整体广告相关性提升 1.08%,ROAS 约提升 0.7%(主要国家 1.4%)。
INSIGHT这项实践给生成式与长序列推荐的现实提醒是:长历史不能替代当下意图,且无需把整段 Transformer 搬到在线路径。社区搜索可离线缓存用户历史表征,在线只融合当前 query、主题与场景信号;合成上下文配合高 dropout 能避免模型过度依赖即时信号,后续可用 query 作为 cross-attention 去选择最相关的历史片段。