HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction

论文: HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction
来源: ByteDance / 抖音搜索
链接: https://arxiv.org/abs/2601.12681

1. 问题与动机

核心问题：工业级推荐系统中，长序列用户行为建模与异构特征交互长期处于"解耦"状态，这种两阶段流水线（先压缩序列 → 再拼接稠密特征做交互）导致信息瓶颈，限制了模型容量。

具体痛点：

• 信息丢失：传统方法（如 LONGER + RankMixer 的 BaseArch）先通过序列模块将数百上千的行为序列压缩为固定向量，再将该向量与其他特征拼接送入特征交互模块。压缩阶段不知道非序列特征的语义，交互阶段又看不到原始序列细节，形成单向信息流瓶颈。
• 容量天花板：序列建模和特征交互各有独立参数，无法共享表示空间，扩参数的边际收益递减。
• 多序列处理粗糙：MTGR/OneTrans 等方法直接合并不同类型行为序列（如搜索序列 vs 推荐浏览序列），破坏了序列各自的语义独立性。

为什么重要：在抖音搜索这种亿级用户、千级行为序列长度的场景下，序列建模和特征交互的协同效率直接决定线上 CTR 模型的天花板。这不是一个学术问题，而是工业大规模排序模型（LRM）的核心架构设计问题。

2. 方法概述

HyFormer 提出了一种统一混合 Transformer 架构，核心思路是：将序列压缩与特征交互融合为同一个交替优化过程，实现双向信息流。

整体流程：

异构特征 + 行为序列
        ↓
  Query Generation（将非序列特征扩展为 Global Tokens）
        ↓
  ┌─────────────────────────────┐
  │  HyFormer Block × L 层      │
  │  ┌───────────────────────┐  │
  │  │ Query Decoding        │  │  ← 全局 Token 对序列做 Cross-Attention
  │  │ (序列信息提取)         │  │
  │  └───────────┬───────────┘  │
  │  ┌───────────▼───────────┐  │
  │  │ Query Boosting        │  │  ← MLP-Mixer 风格的跨 Token 交互
  │  │ (异构特征交互)         │  │
  │  └───────────────────────┘  │
  └─────────────────────────────┘
        ↓
  最终预测

关键设计：每一层 Block 中，Query 先从行为序列中提取信息（Decoding），再在 Token 之间做特征交互（Boosting），然后将增强后的 Query 传入下一层继续与序列交互。这样更深层的 Query 携带了更丰富的全局语义去"审问"原始序列，实现了真正的双向信息流。

3. 核心技术贡献

3.1 Query Decoding — 非序列特征直接关注行为序列

Q = [FFN₁(Global Info), ..., FFNₙ(Global Info)]
Q̃ = CrossAttn(Q, K, V)    // K, V 来自行为序列

• Global Info = 非序列特征 ⊕ 序列均值池化表示，同时注入两类信息
• 非序列特征被"扩展"为多个 Global Token（Query），每个 Token 通过独立 FFN 生成，承载不同语义角色
• 支持三种序列编码策略：Full Transformer / LONGER 风格高效编码 / 轻量 FFN 解码，可按延迟预算选择

与传统方法的关键区别：传统方法中，Target Item 信息只在序列模块的 Target Attention 中参与；HyFormer 中，所有非序列特征（包括 Target Item、User Profile、Context 等）都以 Query 形式直接与序列做 Cross-Attention，极大拓宽了序列信息的利用路径。

3.2 Query Boosting — 高效跨 Token 混合

采用 MLP-Mixer 风格的 Token Mixing：

1. 将每个 Query Token 切分为 T 个通道子空间
2. 跨 Token 位置聚合信息（Token Mixing）
3. 逐 Token FFN 精炼
4. 残差连接：Q_boost = Q + Q̃

为什么不用 Self-Attention：Self-Attention 的复杂度为 O(N²d)，而 MLP-Mixer 为 O(NTd)，在 Token 数不多的情况下计算更高效，且经验上效果相当。

3.3 多序列独立处理 + Query 级交互

不同类型行为序列（搜索、推荐、电商等）在每个 HyFormer Block 中独立做 Query Decoding，保留各自语义；跨序列交互则通过 Query Boosting 在 Token 级别自然发生。这避免了强行对齐异构序列的问题。消融实验显示，序列合并（merge）比独立处理 AUC 低 0.06%。

4. 实验结果分析

离线实验（十亿级工业数据集）

核心发现：

• HyFormer 在 AUC 上达到最优（+0.17%），且 FLOPs 仅为 UniArch 的 ~1/5，效率远超纯 Transformer 统一架构
• 在工业 CTR 场景中 0.17% AUC 提升是非常显著的

消融实验

验证了 扩展序列 KV 信息 比简单压缩更有价值。

Scaling 分析

• 参数扩展：HyFormer 的 AUC-参数曲线斜率比 BaseArch 更陡（200M→1B+ 参数范围）
• 计算扩展：随 FLOPs 增长呈稳定 power-law 提升
• 序列维度扩展：稀疏 embedding 维度从小到 1k 序列长度时，HyFormer 增益 0.12% vs BaseArch 0.09%

→ HyFormer 展现了更好的 scaling 特性，这对工业系统长期演进至关重要。

线上 A/B 测试（抖音搜索）

线上效果全面正向，已在抖音搜索全量部署。

5. 局限与未来方向

当前局限

1. 计算开销仍有增长：相比 BaseArch（3.5T FLOPs），HyFormer（3.9T FLOPs）增加了约 11% 计算量。虽然远低于 UniArch，但在极端延迟敏感场景仍需关注。
2. Query Token 数量的扩展性：Global Token 数增加会导致 Query Boosting 的 Token Mixing 开销增长，论文未充分讨论 Token 数很大时的表现。
3. 序列编码策略的选择：三种编码策略（Full/LONGER/Lightweight）的选择依赖人工经验，未实现自适应选择。
4. 仅在 CTR 二分类任务验证：未探索在多目标学习（CVR、时长预估等）场景的效果。

未来方向

• 动态 Token 分配：根据 Query 的复杂度和序列长度动态调整 Global Token 数量和解码策略
• 与大语言模型的结合：HyFormer 的 Query Decoding 机制与 LLM 的 Cross-Attention 在结构上同构，可探索用预训练语言模型初始化
• 多目标联合建模：将 HyFormer 的统一表示扩展到多任务预测头，不同任务共享 Query 表示
• 更长序列支持：结合 FlashAttention / Ring Attention 等高效注意力技术，将序列长度从千级推到万级

6. 工业实践意义

对搜索/推荐/广告系统的核心借鉴

1. 架构范式转变：从"解耦"到"统一"

这篇论文最大的工业意义在于挑战了"序列建模 + 特征交互"解耦流水线的行业惯例。过去几年，业界主流做法是 SIM/SDIM/LONGER 做序列建模 + DCN/AutoInt/RankMixer 做特征交互，两个模块各自演进。HyFormer 证明了将两者融合为统一骨干网络可以在不显著增加计算量的前提下获得更好的 scaling 特性和模型效果。

2. Global Token 设计的通用性

将非序列特征"扩展"为 Token 参与 Attention 计算的思路，本质上是一种特征语义化手段。这个设计可以推广到：

• 广告系统中将广告主画像、竞价信息编码为 Token 与用户序列交互
• 搜索系统中将 Query 改写、意图标签编码为 Token 与点击序列交互
• 多模态场景中将图像/视频特征编码为 Token 统一参与序列建模

3. 多序列独立处理的工程友好性

HyFormer 的多序列独立处理 + Query 级交互策略，在工程上非常友好：

• 不同序列可以用不同的存储引擎、不同的更新频率
• 新增一种行为序列只需增加一个 Query Decoding 分支，不影响已有序列的计算图
• 序列长度不同也不需要 padding 对齐

4. Scaling 特性对模型演进的指导

HyFormer 展现的更优 scaling 曲线意味着：随着硬件算力增长，这种统一架构的 ROI 会越来越高。对于正在规划下一代排序模型的团队来说，投资统一架构比继续在解耦架构上堆参数更有长期价值。

5. 生产部署经验

论文还提供了两项有价值的工程优化：

• GPU Pooling：利用序列特征的稀疏性（约 25% 唯一 ID），在 GPU 端做压缩 embedding 重建，降低内存和带宽开销
• 异步 AllReduce：前后向计算与梯度同步重叠，以一步梯度 staleness 换取训练吞吐提升

这些技巧对任何处理长序列的工业排序系统都有直接参考价值。