PANTHER: Generative Pretraining Beyond Language for Sequential User Behavior Modeling
将 LLM 的生成式预训练范式拓展到用户行为建模领域,提出 PANTHER 混合生成-判别框架。核心方法是对用户行为序列中的多维属性(时间、上下文、交易类型)进行结构化 token 化,结合序列模式识别模块捕捉周期性交易模式,并构建统一的用户画像 embedding(融合人口统计信息与交易历史)。在微信支付场景部署:下一笔交易预测 HitRate@1 提升 25.6%,欺诈检测 Recall 提升 38.6%;公开基准上 HitRate@1 最高提升 21%。通过离线 embedding 缓存实现实时推理。
INSIGHTPANTHER 证明了生成式预训练可以有效地从用户行为序列中提炼出可迁移的行为知识表征,类似于 LLM 从文本中学习世界知识。对推荐系统从业者的核心启示是:用户行为可以作为独立模态进行大规模预训练,生成的 user embedding 能跨场景迁移(如从交易预测到欺诈检测)。这种预训练-微调范式特别适合数据稀疏或标注有限的推荐场景,通过无监督行为预训练获得泛化的用户表征。