TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds

深度解读：TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds

1. 问题与动机

推荐系统长期沿两条独立路线发展：特征交互模型（DCN、DeepFM 等）建模多域类别特征的相关性，序列模型（SASRec、HSTU 等）捕捉用户行为动态。工业界越来越需要在单一模型中统一两者。然而，本文通过实验揭示了一个被忽视的失败模式——序列坍塌传播（Sequential Collapse Propagation, SCP）：当多域静态特征和序列特征通过共享注意力算子交互时，低维静态特征的维度不匹配会导致序列表征的维度坍塌。具体表现为：联合建模虽然提升了互信息（表征可区分性），但引发了更陡峭的谱衰减（维度坍塌）。图 1 清晰展示了这一 trade-off。这意味着朴素的特征拼接+共享 Transformer 方案在工业场景中可能适得其反。

2. 方法详解

统一 Token 流：TokenFormer 将所有输入表示为扁平 token 序列，包括：非序列域 tokens（F，如用户画像、商品属性）、序列行为 tokens（T，用户历史交互）、目标特征 tokens（V）。统一实体集 E = F ∪ T ∪ V。位置编码采用类型感知索引：静态域映射到位置 0，行为 tokens 按时间顺序编码，目标特征映射到 SL+1。

Bottom-Full-Top-Sliding (BFTS) 注意力：核心创新。分层注意力设计：

• 浅层（l ≤ l_f）：全因果注意力，允许 tokens 在整个序列上交互，实现跨域信息融合
• 深层（l > l_f）：递缩滑动窗口注意力，窗口大小递减 w_{ls} < w_{ls-1} < ... < w_1，迫使逐层精细化

关键设计：浅层全注意力结束后，完全丢弃非序列 token（公式 15），防止静态特征在深层"冗余回访"并污染序列表征。最优配置为 2F2S（2 层 full + 2 层 sliding），w=[32,16]。

非线性交互表征 (NLIR)：通过 sigmoid 门控引入高阶非线性：G^(l) = X^(l) W_g^(l)，然后 Ĩ^(l) = σ(G^(l)) ⊙ A^(l)（逐元素乘法）。这种乘法调制增强了特征可区分性，同时保持了表征秩（防止维度坍塌）。

FFN 设计：采用 SwiGLU 架构 + RMSNorm 归一化：(Swish(Ĩ W₁) ⊙ (Ĩ W₂)) W₃。

训练目标：支持两种设置——用户中心（对整个统一序列做密集自回归监督）和新曝光仅（仅对新曝光候选 tokens 计算交叉熵损失）。

3. 核心技术贡献

(1) 发现并解决 SCP 问题：首次系统揭示多域特征与序列特征统一建模时的维度坍塌传播机制。通过有效秩（effective rank）分析定量证明：vanilla 联合建模的谱衰减显著快于纯序列 Transformer。BFTS 和 NLIR 分别从注意力模式和特征变换两个维度独立缓解坍塌。

(2) BFTS 分层注意力："浅层广交互、深层精细化"的设计原则。浅层 full attention 的平均感受野为 52.7（vs vanilla 的 40.0），深层完全屏蔽静态 tokens 后展现出"显著的窗口内稀疏性"，动态关注最相关的邻近 tokens。2F2S 配置在 AUC 提升 +0.85‰ 的同时减少 20.1% GFLOPs。反向配置 2S2F 导致灾难性的 -6.18‰ AUC 下降，证明"先全局后局部"的顺序不可逆。

(3) NLIR 门控机制：sigmoid 门控乘法作为"维度坍塌的有效安全阀"，通过非线性乘法交互促进特征去相关，保持"整个网络中的表征多样性"。单独贡献 +4.87‰ AUC。

(4) 残差连接的几何分析：注意力残差恢复注意力中丢失的维度（erank 提升），FFN 残差正则化过度的秩扩展（erank 回调到中间范围），形成平衡恢复机制。

4. 实验结果分析

KuaiRand-27K 数据集（用户中心范式）：

TokenFormer-L 超越 HSTU-Ultra 达 +2.95‰，且参数效率更高。

消融实验：

• NLIR 单独: +4.87‰
• BFTS 单独: +4.91‰
• 纯 SWA（4S，所有层 sliding）: 灾难性 -36.35‰
• 滑动窗口大小：w=[32,16] 优于 w=[32,32] 达 +1.53‰

腾讯广告 A/B 测试：

• Full attention 基线: -0.16% 相对 AUC（vs 生产基线）
• +BFTS: +0.14%
• +BFTS+NLIR: +0.22%

微信视频号 A/B 测试（2026 年 1-2 月，5% 流量）：

• 核心指标 GMV: +4.03% 提升
• 成功将离线收益迁移到在线服务

模型扩展：公开基准上呈现一致的 scaling 增益，但在小数据集 KuaiRand-27K 上出现平台期（"固有数据基数瓶颈"），工业规模数据上则"持续性能提升无过早饱和"。

5. 局限与未来方向

作者隐含指出的局限：(1) 数据规模依赖：在小数据集上 scaling 效果有限，需要数据充裕的工业场景才能发挥全部潜力；(2) 窗口大小调参：BFTS 效果依赖合理的窗口配置，w=[32,16] 为经验最优，但不同场景可能需要重新搜索；(3) 架构特异性：静态 token 丢弃、RoPE 位置编码等设计需要与场景仔细对齐。未来方向包括自动注意力模式搜索、其他乘法交互方案探索、扩展到广告/信息流之外的推荐场景。

6. 工业实践意义

直接可采纳：(1) SCP 诊断——如果你的排序模型同时使用画像类别特征和用户行为序列，务必检查序列表征的有效秩是否因静态特征而坍塌，方法是计算注意力输出的奇异值谱；(2) BFTS 注意力——"先全局后局部"的分层注意力设计在保持效果的同时减少 20% 计算量，是工业模型提效的实用手段；(3) 深层丢弃静态 tokens——简单但有效的操作。

关键数字：GMV +4.03%（微信视频号）；AUC +0.22%（腾讯广告）；GFLOPs -20.1%（BFTS vs full attention）。

部署考量：TokenFormer 的参数量从 0.48M（Tiny）到 10.14M（Large），工业部署选择 TokenFormer-S（3.77M，3.5G FLOPs）是效果/效率的良好平衡点。BFTS 的滑动窗口注意力支持高效的增量推理。对于社区搜索的排序模型，如果同时使用 query 特征、用户画像和行为序列，建议先检查是否存在 SCP 问题，再考虑采用 BFTS 架构。