1. 问题与动机

工业 CTR 模型面临两类问题。序列侧：AutoSplit 把整条行为序列压成少量 token 省算力，却牺牲细粒度行为语义；OneTrans、MTGR 等展开式保留更多序列信息，但超长序列下计算复杂度高、信息冗余或稀疏；且现有模型多只做 candidate-aware 兴趣建模，忽视序列自身结构属性，也忽视"长期行为 vs 实时行为在语义与时效上本质不同、需分别建模"。特征交互侧：transformer 式模型对所有特征施加同构成对注意力，忽略异构域间语义鸿沟；自注意力规模上昂贵，盲目加宽加深易过拟合或边际递减——作者给出一个扎眼的反例：DLRM-Large 参数扩 7× 才换来 +0.13% AUC-CTR、+0.14% AUC-CVR，说明"纯堆参数"性价比极差，需要结构层面的 scaling。

2. 方法详解

HeMix 两大件。① Query-Mixed 兴趣抽取：把非序列（NS）token 按 4:1 切成 T_NS^G（全局序列用）与 T_NS^R（实时序列用）；引入可学习固定 query 嵌入 Q=[Q^G,Q^R]∈R^(N_NS×d_T) 捕捉上下文无关的稳定行为模式，再与动态 query（NS token）经 Mixed Hetero Attention 融合。该注意力关键是异构投影：每个 query 用专属投影 W_Q^(l)，而 Key/Value 共享 W_K、W_V，Att^(l)=softmax(Q̃^(l)K̃^T/√d)，Q̃^(l)=Q^(l)W_Q^(l) 为异构、K̃=K·W_K 为共享。输出全局序列 token O^G（上下文相关的长期兴趣）与实时序列 token O^R（当前意图），拼成 T_S（N_S=2×N_NS）。② HeteroMixer 块替代多头自注意力，三步：多头 token 融合（每个 token 按 M 切头、跨 N 个 token 拼成混合 token 矩阵 G∈R^(M×N·d_h)）；异构混合 token 交互（每个混合 token G_m 用一对低秩 MLP 独立处理 Ĝ_m=W_m^R·ReLU(W_m^L·G_m)，W_m^L∈R^(d_r×N·d_h)、d_r≪N·d_h，用低秩在容量与效率间取平衡）；分组对齐重建（逆 reshape 回原 token 空间接残差 S=LN(T̂+T)）。整体：embedding→tokenize（NS token 经 MLP+Split + Query-Mixed 序列 token）→L 层 HeteroMixer→mean pooling→MLP/LR 出 CTR/CVR。参数量 ≈ 2kLNd_T²（k 扩张比≈4、L 块深、N=60（N_NS=20、N_S=40）、d_T=256），HeteroMixer 仅增 2LNd_T·d_r 可忽略。训练 batch=256、lr=1e-4、100 GPU TensorFlow，warm-start：稀疏 ID embedding 预训练、dense 部分冷启。

3. 核心技术贡献

(1) 统一异构 tokenization：用异构投影把上下文相关（动态）与上下文无关（固定 query）兴趣从全局/实时双序列联合建模，而非只做 candidate-aware。(2) HeteroMixer：参数高效的 token mixing 替代成对注意力，做多粒度、跨子空间异构交互，GFLOPs 与 RankMixer 相当却全面更优。(3) 结构化 scaling：相比盲目加深加宽，受控参数扩张带来可预期的稳定增益，正面回应了 DLRM-Large 那种低效扩张。(4) 生产级效率：HeMix-Small 1.89 GFLOPs（对 RankMixer-Small 2.07、DLRM-Large 2.6、AutoInt 3.23），在更低算力下取得更高 AUC。

4. 实验结果分析

数据集 AMAP：200 万+用户、250 万+物品、44 亿样本，全局序列均长 332、实时序列均长 10。约 100M 参数档（表 2）：DLRM-Small CTR-AUC 0.7312；RankMixer-Small 0.7341；HeMix-Small 0.7350、CTR-Logloss 0.2495、CVR-AUC 0.7902。1.5B 档：RankMixer-Large 0.7357/GFLOPs 30.18；HeMix-Large 0.7366/27.58——+0.39% AUC 同时省 8.6% 算力。tokenization 消融（表 3）：去固定 query -0.05%、去 Mixed Hetero Attention -0.08%、去全局序列 -0.14%、去实时序列 -0.22%（实时信号最关键）。交互结构对比（表 4）：Transformer 0.7336、RankMixer 0.7345（+0.09%）、HeteroMixer 0.7350（较 RankMixer +0.14%）。scaling（图 3）从 100M 到 1.5B HeMix 全程压过 RankMixer 且算力更低，曲线不饱和。线上 A/B（表 5，AMAP 7 天、数十亿 DAU）对 DLRM：GMV +3.61%、PV_CTR +2.78%、UV_CVR +2.12%；对 RankMixer（SOTA）：GMV +0.61%、PV_CTR +2.32%、UV_CVR +0.81%，说明相对当前最强基线仍有可观增量。

5. 局限与未来方向

作者未显式列局限。隐含约束：线上部署用约 100M 的 HeMix-Small 以满足延迟/吞吐，更大模型服务成本成比例上升，1.5B 主要用于离线验证 scaling；实时序列信号最强、全局序列在工业规模下贡献相对小，长序列建模的边际值得再评估；方法假设可拿到多行为时序序列，缺时序行为数据的系统适用性不明。AUC 绝对增量在 0.1%~0.4% 量级（CTR 任务常态），需靠线上大流量放大成 GMV 收益，离线小幅提升不能直接外推。

6. 工业实践意义

对社区搜索排序的借鉴：(1) 把"用户兴趣抽取"和"特征交互"放进同一 backbone、分别用 Query-Mixed 与 HeteroMixer 处理，避免传统 DLRM 两者割裂；上下文相关（随 query/场景变）与上下文无关（用户稳定偏好）兴趣分离建模，契合短文本 query 下的个性化排序。(2) HeteroMixer 用低秩 MLP 做 token mixing 替代自注意力，是控制异构特征交互算力的实用手段——同等甚至更低 GFLOPs 拿到更高 AUC，且 scaling 表现说明能吃下更大容量，对算力敏感的在线排序很有价值。(3) 消融显示实时行为序列贡献最大（-0.22%），提示工程上优先保障实时行为特征的时效与质量，而非一味拉长全局历史。(4) 部署考量：warm-start（稀疏 ID embedding 预训练、dense 冷启）、100 GPU 训练；线上用小档控延迟，靠结构而非纯堆参数提效，适合资源受限团队参考——先在自有数据上复现 HeteroMixer 对 RankMixer 的 +0.14% 离线增量，再决定是否上线。

HyFormer 深度解读：统一序列建模与特征交互的 CTR 预测架构

论文: HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction
来源: ByteDance / 抖音搜索
链接: https://arxiv.org/abs/2601.12681

1. 问题与动机

核心问题：工业级推荐系统中，长序列用户行为建模与异构特征交互长期处于"解耦"状态，这种两阶段流水线（先压缩序列 → 再拼接稠密特征做交互）导致信息瓶颈，限制了模型容量。

具体痛点：

• 信息丢失：传统方法（如 LONGER + RankMixer 的 BaseArch）先通过序列模块将数百上千的行为序列压缩为固定向量，再将该向量与其他特征拼接送入特征交互模块。压缩阶段不知道非序列特征的语义，交互阶段又看不到原始序列细节，形成单向信息流瓶颈。
• 容量天花板：序列建模和特征交互各有独立参数，无法共享表示空间，扩参数的边际收益递减。
• 多序列处理粗糙：MTGR/OneTrans 等方法直接合并不同类型行为序列（如搜索序列 vs 推荐浏览序列），破坏了序列各自的语义独立性。

为什么重要：在抖音搜索这种亿级用户、千级行为序列长度的场景下，序列建模和特征交互的协同效率直接决定线上 CTR 模型的天花板。这不是一个学术问题，而是工业大规模排序模型（LRM）的核心架构设计问题。

2. 方法概述

HyFormer 提出了一种统一混合 Transformer 架构，核心思路是：将序列压缩与特征交互融合为同一个交替优化过程，实现双向信息流。

整体流程：

异构特征 + 行为序列
        ↓
  Query Generation（将非序列特征扩展为 Global Tokens）
        ↓
  ┌─────────────────────────────┐
  │  HyFormer Block × L 层      │
  │  ┌───────────────────────┐  │
  │  │ Query Decoding        │  │  ← 全局 Token 对序列做 Cross-Attention
  │  │ (序列信息提取)         │  │
  │  └───────────┬───────────┘  │
  │  ┌───────────▼───────────┐  │
  │  │ Query Boosting        │  │  ← MLP-Mixer 风格的跨 Token 交互
  │  │ (异构特征交互)         │  │
  │  └───────────────────────┘  │
  └─────────────────────────────┘
        ↓
  最终预测

关键设计：每一层 Block 中，Query 先从行为序列中提取信息（Decoding），再在 Token 之间做特征交互（Boosting），然后将增强后的 Query 传入下一层继续与序列交互。这样更深层的 Query 携带了更丰富的全局语义去"审问"原始序列，实现了真正的双向信息流。

3. 核心技术贡献

3.1 Query Decoding — 非序列特征直接关注行为序列

Q = [FFN₁(Global Info), ..., FFNₙ(Global Info)]
Q̃ = CrossAttn(Q, K, V)    // K, V 来自行为序列

• Global Info = 非序列特征 ⊕ 序列均值池化表示，同时注入两类信息
• 非序列特征被"扩展"为多个 Global Token（Query），每个 Token 通过独立 FFN 生成，承载不同语义角色
• 支持三种序列编码策略：Full Transformer / LONGER 风格高效编码 / 轻量 FFN 解码，可按延迟预算选择

与传统方法的关键区别：传统方法中，Target Item 信息只在序列模块的 Target Attention 中参与；HyFormer 中，所有非序列特征（包括 Target Item、User Profile、Context 等）都以 Query 形式直接与序列做 Cross-Attention，极大拓宽了序列信息的利用路径。

3.2 Query Boosting — 高效跨 Token 混合

采用 MLP-Mixer 风格的 Token Mixing：

1. 将每个 Query Token 切分为 T 个通道子空间
2. 跨 Token 位置聚合信息（Token Mixing）
3. 逐 Token FFN 精炼
4. 残差连接：Q_boost = Q + Q̃

为什么不用 Self-Attention：Self-Attention 的复杂度为 O(N²d)，而 MLP-Mixer 为 O(NTd)，在 Token 数不多的情况下计算更高效，且经验上效果相当。

3.3 多序列独立处理 + Query 级交互

不同类型行为序列（搜索、推荐、电商等）在每个 HyFormer Block 中独立做 Query Decoding，保留各自语义；跨序列交互则通过 Query Boosting 在 Token 级别自然发生。这避免了强行对齐异构序列的问题。消融实验显示，序列合并（merge）比独立处理 AUC 低 0.06%。

4. 实验结果分析

离线实验（十亿级工业数据集）

核心发现：

• HyFormer 在 AUC 上达到最优（+0.17%），且 FLOPs 仅为 UniArch 的 ~1/5，效率远超纯 Transformer 统一架构
• 在工业 CTR 场景中 0.17% AUC 提升是非常显著的

消融实验

验证了 扩展序列 KV 信息 比简单压缩更有价值。

Scaling 分析

• 参数扩展：HyFormer 的 AUC-参数曲线斜率比 BaseArch 更陡（200M→1B+ 参数范围）
• 计算扩展：随 FLOPs 增长呈稳定 power-law 提升
• 序列维度扩展：稀疏 embedding 维度从小到 1k 序列长度时，HyFormer 增益 0.12% vs BaseArch 0.09%

→ HyFormer 展现了更好的 scaling 特性，这对工业系统长期演进至关重要。

线上 A/B 测试（抖音搜索）

线上效果全面正向，已在抖音搜索全量部署。

5. 局限与未来方向

当前局限

1. 计算开销仍有增长：相比 BaseArch（3.5T FLOPs），HyFormer（3.9T FLOPs）增加了约 11% 计算量。虽然远低于 UniArch，但在极端延迟敏感场景仍需关注。
2. Query Token 数量的扩展性：Global Token 数增加会导致 Query Boosting 的 Token Mixing 开销增长，论文未充分讨论 Token 数很大时的表现。
3. 序列编码策略的选择：三种编码策略（Full/LONGER/Lightweight）的选择依赖人工经验，未实现自适应选择。
4. 仅在 CTR 二分类任务验证：未探索在多目标学习（CVR、时长预估等）场景的效果。

未来方向

• 动态 Token 分配：根据 Query 的复杂度和序列长度动态调整 Global Token 数量和解码策略
• 与大语言模型的结合：HyFormer 的 Query Decoding 机制与 LLM 的 Cross-Attention 在结构上同构，可探索用预训练语言模型初始化
• 多目标联合建模：将 HyFormer 的统一表示扩展到多任务预测头，不同任务共享 Query 表示
• 更长序列支持：结合 FlashAttention / Ring Attention 等高效注意力技术，将序列长度从千级推到万级

6. 工业实践意义

对搜索/推荐/广告系统的核心借鉴

1. 架构范式转变：从"解耦"到"统一"

这篇论文最大的工业意义在于挑战了"序列建模 + 特征交互"解耦流水线的行业惯例。过去几年，业界主流做法是 SIM/SDIM/LONGER 做序列建模 + DCN/AutoInt/RankMixer 做特征交互，两个模块各自演进。HyFormer 证明了将两者融合为统一骨干网络可以在不显著增加计算量的前提下获得更好的 scaling 特性和模型效果。

2. Global Token 设计的通用性

将非序列特征"扩展"为 Token 参与 Attention 计算的思路，本质上是一种特征语义化手段。这个设计可以推广到：

• 广告系统中将广告主画像、竞价信息编码为 Token 与用户序列交互
• 搜索系统中将 Query 改写、意图标签编码为 Token 与点击序列交互
• 多模态场景中将图像/视频特征编码为 Token 统一参与序列建模

3. 多序列独立处理的工程友好性

HyFormer 的多序列独立处理 + Query 级交互策略，在工程上非常友好：

• 不同序列可以用不同的存储引擎、不同的更新频率
• 新增一种行为序列只需增加一个 Query Decoding 分支，不影响已有序列的计算图
• 序列长度不同也不需要 padding 对齐

4. Scaling 特性对模型演进的指导

HyFormer 展现的更优 scaling 曲线意味着：随着硬件算力增长，这种统一架构的 ROI 会越来越高。对于正在规划下一代排序模型的团队来说，投资统一架构比继续在解耦架构上堆参数更有长期价值。

5. 生产部署经验

论文还提供了两项有价值的工程优化：

• GPU Pooling：利用序列特征的稀疏性（约 25% 唯一 ID），在 GPU 端做压缩 embedding 重建，降低内存和带宽开销
• 异步 AllReduce：前后向计算与梯度同步重叠，以一步梯度 staleness 换取训练吞吐提升

这些技巧对任何处理长序列的工业排序系统都有直接参考价值。