1. 问题与动机
大语言模型通过生成式预训练将海量世界知识蒸馏为紧凑的 token 表征，但 LLM 的知识局限于文本模态，无法建模用户交互历史中蕴含的行为知识。用户行为构成一种独立模态——每个动作由多维属性（时间、上下文、交易类型）定义为一个行为 token，建模这种高基数序列面临两大挑战：(1) 判别式模型在有限监督下表现不佳；(2) 现有方法缺乏跨场景迁移能力。例如，在微信支付场景中，传统 Transformer baseline 在下一笔交易预测上的 HitRate@1 仅为 0.1952，难以满足实时风控和个性化推荐需求。PANTHER 的动机是将 LLM 的「预训练-微调」范式扩展到用户行为模态，通过无监督行为预训练获得可迁移的用户表征。
2. 方法详解
结构化 Token 化：将原始交易转换为可解释 token，通过笛卡尔积 τ = (channel, amount_range, merchant_category, risk_level) 构建。原始词表约 200 万种组合，通过基于频率的过滤压缩到 60K token，覆盖 96% 的历史交易，同时减少 97% 的稀疏性。
序列模式识别模块（SPRM）：包含两个组件：
- 局部模式聚合：使用深度可分离膨胀卷积（核大小 w=3，膨胀率 r=1,2）捕捉多尺度时间簇。小膨胀率捕捉即时模式，大膨胀率捕捉周期性规律。计算复杂度 O(T)，相比 vanilla attention 的 O(T²) 具有显著优势。
- 原型驱动匹配：m=64 个可学习原型代表典型消费模式（如周末休闲、工作日通勤）。通过交叉注意力 X_p = Softmax(QK^T/√d_k)V 将序列片段压缩到最近原型上，强制稀疏可解释编码。
用户画像编码：将人口统计信息（年龄、地区等）与交易历史融合为统一 embedding，作为序列的首 token 输入（positional encoding 方式优于 first-token 方式）。
训练目标：采用双目标联合训练：
- 生成式损失 L_gen = E_u~U[∑-log Pr_θ(x_t | x_<t, x_profile)]（自回归下一行为预测）
- 对比学习损失 L_CL：共享人口属性（年龄±2、相同地区）的用户对构成正样本对，温度参数 τ 控制浓度
- 组合目标 L = (1-λ)L_gen + λL_CL，λ=0.1 为最优（Table 9 超参调优结果）
训练配置：微信支付数据集包含 53 亿笔交易、3800 万用户、6 个月数据。Batch size 128，学习率 1×10⁻³，多 GPU 集群训练。模型配置：4 层、2 头注意力（MovieLens 用 2 层 1 头），64 个原型，推理使用最近 100 笔交易。
实时推理：通过离线 embedding 缓存实现，运行时仅需对最近 100 笔交易用 TextCNN 编码并与缓存 embedding 融合，额外延迟仅 5ms，总决策延迟保持在 100ms 以内。
3. 核心技术贡献
(1) 行为模态的生成式预训练：首次系统性地将 LLM 的预训练范式扩展到用户行为序列。通过结构化 token 化将连续多维行为属性离散化为可预测的 token，使自回归预训练目标能有效应用于行为建模。相比此前的判别式方法（如 SASRec），PANTHER 在 MovieLens-1M 上 HR@1 提升 21.8%。
(2) SPRM 的线性复杂度设计：用膨胀卷积 + 原型匹配替代标准自注意力，实现 O(T) 复杂度。在序列长度 4096 时 Transformer OOM 而 SPRM 仅需 5.7GB 内存，8192 长度时仍可运行（10.8GB）。这对长行为序列建模至关重要。
(3) 跨场景迁移能力：预训练 embedding 可直接迁移到下游任务。在微信支付预训练后迁移到 MBD-mini/CCT 数据集，HR@1 平均提升 16.66%。冷启动用户通过用户级迁移，HR@1 从 0.0581 提升到 0.2332（+301%）。
(4) 生成-判别混合框架：统一的两阶段设计——离线生成式预训练 + 在线判别式微调（通过 DeepFM 融合），在保持实时性的同时利用预训练知识。
4. 实验结果分析
微信支付部署：
| 任务 | 指标 | PANTHER | Transformer baseline | 提升 |
|---|---|---|---|---|
| 交易预测 | HR@1 | 0.2452 | 0.1952 | +25.6% |
| 欺诈检测 | Recall@0.1% | - | - | +38.6% |
| 欺诈检测 | Recall@0.01% | - | - | +109.5% |
| 商户风险 | Accuracy | 76% | 50% | +52% |
消融实验（增量贡献）：SPRM 单独 +14.9% HR@1 → 加入 Profile 编码 +20.4% → 加入对比学习 +25.6%。SPRM 贡献最大（14.9 个百分点），说明序列模式识别是核心组件。
公开基准：MovieLens-1M HR@1 提升 21.8%（0.0705 vs 0.0579），Yelp NDCG@5 提升 29.6%。
效率对比：推理时间在 65-94 秒间（不同序列长度），SPRM 在长序列上优势明显。训练成本：CCT 单 GPU 2 小时，Yelp 6 小时，MBD-mini 12 小时。
λ 超参敏感性：λ=0.1 时对比学习与生成目标的平衡最佳；λ=0 时 HR@1 下降约 5.2 个百分点，λ>0.3 时生成质量开始下降。
5. 局限与未来方向
作者明确指出的主要局限是可解释性不足：复杂表征可能阻碍在高风险金融应用中的透明度要求。在受监管的金融领域，这一局限影响了更广泛的适用性。作者建议可解释性改进作为未来工作方向。
额外观察到的局限：(1) 60K token 词表的频率过滤可能丢失低频但高信息量的交易模式（如异常大额交易）；(2) 固定 100 笔交易的推理窗口可能不适用于低频用户；(3) 对比学习的正样本对定义（年龄±2、相同地区）可能引入人口统计偏差。
6. 工业实践意义
可直接采纳的技术：(1) 结构化 token 化方案——将多维行为属性通过笛卡尔积 + 频率过滤转化为可管理的词表大小，适用于任何具有多维属性的用户行为序列（搜索查询、浏览、点击等）；(2) 离线预训练 + embedding 缓存的两阶段部署模式，额外延迟仅 5ms，适合在线推荐系统的严格延迟要求。
值得尝试的方向：将生成式预训练应用于搜索场景的用户行为建模——将用户的搜索-点击-浏览序列进行结构化 token 化，预训练得到的 user embedding 可用于个性化排序、冷启动推荐和 query 意图理解。
需要注意的风险：(1) 预训练数据规模要求较高（论文使用 53 亿条交易），小规模数据下效果存疑；(2) 60K 词表的压缩率适用于支付场景，搜索/推荐场景的行为属性维度可能更高，需要重新设计 token 化方案。
部署参考：单 GPU 即可完成公开数据集训练，但生产级（53 亿条）需要多 GPU 集群。推理通过 embedding 缓存实现毫秒级延迟，不需要实时运行完整模型。