PANTHER: Generative Pretraining Beyond Language for Sequential User Behavior Modeling
Tencent📖 有深读 · 7 分钟将 LLM 的生成式预训练范式拓展到用户行为建模领域，提出 PANTHER 混合生成-判别框架。核心方法是对用户行为序列中的多维属性（时间、上下文、交易类型）进行结构化 token 化，结合序列模式识别模块捕捉周期性交易模式，并构建统一的用户画像 embedding（融合人口统计信息与交易历史）。在微信支付场景部署：下一笔交易预测 HitRate@1 提升 25.6%，欺诈检测 Recall 提升 38.6%；公开基准上 HitRate@1 最高提升 21%。通过离线 embedding 缓存实现实时推理。
INSIGHTPANTHER 证明了生成式预训练可以有效地从用户行为序列中提炼出可迁移的行为知识表征，类似于 LLM 从文本中学习世界知识。对推荐系统从业者的核心启示是：用户行为可以作为独立模态进行大规模预训练，生成的 user embedding 能跨场景迁移（如从交易预测到欺诈检测）。这种预训练-微调范式特别适合数据稀疏或标注有限的推荐场景，通过无监督行为预训练获得泛化的用户表征。
1. 问题与动机
大语言模型通过生成式预训练将海量世界知识蒸馏为紧凑的 token 表征，但 LLM 的知识局限于文本模态，无法建模用户交互历史中蕴含的行为知识。用户行为构成一种独立模态——每个动作由多维属性（时间、上下文、交易类型）定义为一个行为 token，建模这种高基数序列面临两大挑战：(1) 判别式模型在有限监督下表现不佳；(2) 现有方法缺乏跨场景迁移能力。例如，在微信支付场景中，传统 Transformer baseline 在下一笔交易预测上的 HitRate@1 仅为 0.1952，难以满足实时风控和个性化推荐需求。PANTHER 的动机是将 LLM 的「预训练-微调」范式扩展到用户行为模态，通过无监督行为预训练获得可迁移的用户表征。
2. 方法详解
结构化 Token 化：将原始交易转换为可解释 token，通过笛卡尔积 τ = (channel, amount_range, merchant_category, risk_level) 构建。原始词表约 200 万种组合，通过基于频率的过滤压缩到 60K token，覆盖 96% 的历史交易，同时减少 97% 的稀疏性。
序列模式识别模块（SPRM）：包含两个组件：
- 局部模式聚合：使用深度可分离膨胀卷积（核大小 w=3，膨胀率 r=1,2）捕捉多尺度时间簇。小膨胀率捕捉即时模式，大膨胀率捕捉周期性规律。计算复杂度 O(T)，相比 vanilla attention 的 O(T²) 具有显著优势。
- 原型驱动匹配：m=64 个可学习原型代表典型消费模式（如周末休闲、工作日通勤）。通过交叉注意力 X_p = Softmax(QK^T/√d_k)V 将序列片段压缩到最近原型上，强制稀疏可解释编码。
用户画像编码：将人口统计信息（年龄、地区等）与交易历史融合为统一 embedding，作为序列的首 token 输入（positional encoding 方式优于 first-token 方式）。
训练目标：采用双目标联合训练：
- 生成式损失 L_gen = E_u~U[∑-log Pr_θ(x_t | x_<t, x_profile)]（自回归下一行为预测）
- 对比学习损失 L_CL：共享人口属性（年龄±2、相同地区）的用户对构成正样本对，温度参数 τ 控制浓度
- 组合目标 L = (1-λ)L_gen + λL_CL，λ=0.1 为最优（Table 9 超参调优结果）
训练配置：微信支付数据集包含 53 亿笔交易、3800 万用户、6 个月数据。Batch size 128，学习率 1×10⁻³，多 GPU 集群训练。模型配置：4 层、2 头注意力（MovieLens 用 2 层 1 头），64 个原型，推理使用最近 100 笔交易。
实时推理：通过离线 embedding 缓存实现，运行时仅需对最近 100 笔交易用 TextCNN 编码并与缓存 embedding 融合，额外延迟仅 5ms，总决策延迟保持在 100ms 以内。
3. 核心技术贡献
(1) 行为模态的生成式预训练：首次系统性地将 LLM 的预训练范式扩展到用户行为序列。通过结构化 token 化将连续多维行为属性离散化为可预测的 token，使自回归预训练目标能有效应用于行为建模。相比此前的判别式方法（如 SASRec），PANTHER 在 MovieLens-1M 上 HR@1 提升 21.8%。
(2) SPRM 的线性复杂度设计：用膨胀卷积 + 原型匹配替代标准自注意力，实现 O(T) 复杂度。在序列长度 4096 时 Transformer OOM 而 SPRM 仅需 5.7GB 内存，8192 长度时仍可运行（10.8GB）。这对长行为序列建模至关重要。
(3) 跨场景迁移能力：预训练 embedding 可直接迁移到下游任务。在微信支付预训练后迁移到 MBD-mini/CCT 数据集，HR@1 平均提升 16.66%。冷启动用户通过用户级迁移，HR@1 从 0.0581 提升到 0.2332（+301%）。
(4) 生成-判别混合框架：统一的两阶段设计——离线生成式预训练 + 在线判别式微调（通过 DeepFM 融合），在保持实时性的同时利用预训练知识。
4. 实验结果分析
微信支付部署：
| 任务 | 指标 | PANTHER | Transformer baseline | 提升 |
|---|---|---|---|---|
| 交易预测 | HR@1 | 0.2452 | 0.1952 | +25.6% |
| 欺诈检测 | Recall@0.1% | - | - | +38.6% |
| 欺诈检测 | Recall@0.01% | - | - | +109.5% |
| 商户风险 | Accuracy | 76% | 50% | +52% |
消融实验（增量贡献）：SPRM 单独 +14.9% HR@1 → 加入 Profile 编码 +20.4% → 加入对比学习 +25.6%。SPRM 贡献最大（14.9 个百分点），说明序列模式识别是核心组件。
公开基准：MovieLens-1M HR@1 提升 21.8%（0.0705 vs 0.0579），Yelp NDCG@5 提升 29.6%。
效率对比：推理时间在 65-94 秒间（不同序列长度），SPRM 在长序列上优势明显。训练成本：CCT 单 GPU 2 小时，Yelp 6 小时，MBD-mini 12 小时。
λ 超参敏感性：λ=0.1 时对比学习与生成目标的平衡最佳；λ=0 时 HR@1 下降约 5.2 个百分点，λ>0.3 时生成质量开始下降。
5. 局限与未来方向
作者明确指出的主要局限是可解释性不足：复杂表征可能阻碍在高风险金融应用中的透明度要求。在受监管的金融领域，这一局限影响了更广泛的适用性。作者建议可解释性改进作为未来工作方向。
额外观察到的局限：(1) 60K token 词表的频率过滤可能丢失低频但高信息量的交易模式（如异常大额交易）；(2) 固定 100 笔交易的推理窗口可能不适用于低频用户；(3) 对比学习的正样本对定义（年龄±2、相同地区）可能引入人口统计偏差。
6. 工业实践意义
可直接采纳的技术：(1) 结构化 token 化方案——将多维行为属性通过笛卡尔积 + 频率过滤转化为可管理的词表大小，适用于任何具有多维属性的用户行为序列（搜索查询、浏览、点击等）；(2) 离线预训练 + embedding 缓存的两阶段部署模式，额外延迟仅 5ms，适合在线推荐系统的严格延迟要求。
值得尝试的方向：将生成式预训练应用于搜索场景的用户行为建模——将用户的搜索-点击-浏览序列进行结构化 token 化，预训练得到的 user embedding 可用于个性化排序、冷启动推荐和 query 意图理解。
需要注意的风险：(1) 预训练数据规模要求较高（论文使用 53 亿条交易），小规模数据下效果存疑；(2) 60K 词表的压缩率适用于支付场景，搜索/推荐场景的行为属性维度可能更高，需要重新设计 token 化方案。
部署参考：单 GPU 即可完成公开数据集训练，但生产级（53 亿条）需要多 GPU 集群。推理通过 embedding 缓存实现毫秒级延迟，不需要实时运行完整模型。
Alibaba
Meta
Tsinghua
USTC