1. 问题与动机

工业推荐近两年的提效主要靠 component-centric scaling：把行为建模、特征交互、任务建模这些单个组件各自扩大容量。HyFormer、OneTrans 进一步做 cross-module co-scaling，联合建模行为与交互，但作者指出它们仍被限制在特征空间（feature space）内，缺少一个覆盖整个建模空间的统一 model-centric scaling 框架。换句话说，行业里"堆参数"是局部的、组件各管各的，没有一个把特征侧与任务侧一起扩、还能控住成本的统一范式。

作者把"统一扩参"拆出三个绕不开的难点：一是容量上去后训练/推理效率怎么保持——推荐是亿级 DAU、百亿级日志的在线系统，算力是硬约束；二是怎么在扩参时刻画异构用户行为而不发生 preference collapse（不同类型行为被糅在一起、相互稀释）；三是怎么支持各组件灵活分配参数，而不是一刀切地全模型放大。这三点正是 UniFormer 的设计目标。论文实验对照组里，SIM+RankMixer、HyFormer、MixFormer 把参数从 ~115M 扩到 ~490M 后，Effective-view GAUC 相对 SIM+DCN 基线只提升 +0.34%~+0.43%，说明"只在特征空间扩参"的边际收益在递减——这是 UniFormer 要突破的具体失败模式。

2. 方法详解

UniFormer 把整体建模空间显式拆成两层：Feature-space Interaction Module（FIM）与 Task-space Interaction Module（TIM），用堆叠的方式分别建模特征空间与任务空间，刻意避开昂贵的"序列内 × 序列-任务"全交互。

Tokenization 与 user-item 解耦。 序列特征分两类：item-independent 的（视频 ID、内容类型、作者信息、观看时长等元数据）按序保留并拼接；item-dependent 的（如 SIM 目标注意力序列）用 target-attention tokenizer 先聚合，从而在推理时实现 user-item decoupling。非序列特征按"item-independent / item-dependent"语义分成 m+n 组，各自投影到 d_model；任务特征按任务分组（task ID、task-specific bias）投影到 d_model。语义分组的意义在于把"用户侧计算"与"候选 item 侧计算"解耦，使打分时用户侧表征可复用，达到 request 级推理加速。每个表征经 SwiGLU 投影到 d_seq = S_kv · L_kv · d_model。

FIM。 序列向组件用 multi-sequence cross-attention 对短期、长期行为分别做交叉注意力（H^feat_short = CA(RMSNorm(Q_cross), K_short, V_short) + Q_cross），后接序列专属 SwiGLU FFN（S-FFNs）。短/长序列的融合给了两种策略：全局自适应 H_cross = α·H̃_short + (1−α)·H̃_long，以及按用户活跃度个性化的 α_i。非序列向组件把 cross-attention 输出与上一层 query 拼接后做 self-attention，再过特征专属 FFN（NS-FFNs），并用可学习比例 β 把输出切成下一层的 cross-/self-attention query。

TIM。 特征向组件对 FIM 的最终输出做 cross-attention；任务向组件做 self-attention 后接任务专属 FFN（T-FFNs）。输出经各任务 FFN head + Sigmoid 得 ŷ_i，多任务损失为 L = Σ λ_i · L_i(y_i, ŷ_i)。多视角 FFN（S/NS/T-FFNs）是支持各组件独立扩参的关键载体。

训练设置。 数据来自快手最大推荐场景，400M+ 日活、50B+ 日交互日志；任务为 Effective-view、Long-view、Like、Follow 多反馈。AdamW，学习率 1e-3、weight decay 1e-3，per-GPU batch 2048，BF16 混合精度；默认 3 层、d_head=1280。

3. 核心技术贡献

(1) 模型级统一 scaling 框架。 把"组件各自扩参"升级为 FIM+TIM 的两层统一结构，覆盖特征空间与任务空间而非只在特征空间内 co-scaling。价值在于扩参时呈现明显 scaling law：UniFormer-Large（995.3M）相对基线 Effective-view +0.63%、Follow +1.04%，比同量级的 HyFormer/MixFormer 更高，说明统一结构把参数花在了更有效的地方。

(2) 语义 tokenization + user-item 解耦。 按 item-independent/item-dependent 语义分组、item-dependent 序列用 target-attention 预聚合，使用户侧表征与候选 item 侧计算解耦，在每请求打分 512 个候选时拿到 48% QPS 提升且 GAUC 几乎无损。这是"大模型上量但成本可控"的核心机制。

(3) 多序列 cross-attention 防 preference collapse。 短/长行为分开做交叉注意力再融合（全局或按活跃度个性化的 α），消融显示去掉它会显著掉点，证明异构行为必须按序列隔离建模。

(4) 多视角 FFN 支持灵活扩参。 S/NS/T-FFNs 让不同组件独立放大参数；消融中把 S-FFNs 或 NS-FFNs 换成共享 FFN 带来"最显著的性能恶化"，说明分视角的参数分配缓解了过早出现的边际递减。

4. 实验结果分析

离线（GAUC，0.05% 即视为高度显著）。 基线 SIM+DCN（115.8M）四任务 GAUC 为 0.7418/0.7734/0.8486/0.8361。把参数扩到 ~490M 的对照：SIM+RankMixer(492M) Effective-view +0.34%，HyFormer(496.5M) +0.39%，MixFormer(489.4M) +0.43%。UniFormer(516.0M) 达 0.7457/0.7771/0.8531/0.8435，即 Effective-view +0.53%、Like +0.53%、Follow +0.89%——在相近参数量下全面超过 MixFormer/HyFormer，Follow 这种稀疏正反馈提升最大。UniFormer-Large(995.3M) 进一步到 +0.63%/+0.58%/+0.61%/+1.04%，体现持续 scaling 收益。

消融。 去掉 multi-sequence cross-attention → 显著掉点（防偏好坍塌起作用）；去掉 interaction enhancement(IE) → 明显退化；去掉 TIM → 各任务一致下降；把 S-FFNs/NS-FFNs 换成共享 FFN → 最严重恶化。结论是"灵活可扩展的参数分配"贡献最大，而不是单纯堆深堆宽。

在线 A/B（快手主站 + 极速版，7 天、5% 流量）。 极速版/主站：App 时长 +0.260%/+0.101%，观看时长 +1.113%/+0.729%，视频播放 +0.252%/+0.249%，Like +1.089%/+0.155%，评论 +1.818%/+1.488%，收藏 +0.930%/+0.647%，转发 +1.274%/+0.157%。互动类（评论、收藏、转发）涨幅普遍高于时长类，且极速版收益整体大于主站——提示模型对低活/轻度用户场景增益更明显。推理侧 user-item 解耦带来 48% QPS 提升。需要注意这些时长类绝对涨幅在 0.1%~0.3% 量级，属大盘级别的常见显著区间，要结合流量规模看价值。

5. 局限与未来方向

论文没有显式写 limitations 章节，这是一个透明度上的缺口。从内容看，作者暗示的未来方向是把 unified co-scaling 扩展到特征空间与任务空间之外、并挖掘更多推理加速的解耦机会。我额外补充几点该工作未充分回答的局限：一是全部验证都在快手单一生态、短视频反馈，跨域（电商、信息流图文、社区搜索）迁移性未知；二是 user-item 解耦依赖 item-dependent 序列能被 target-attention 提前聚合，对强依赖实时 user×item 交叉特征的场景（如精排末端的实时交叉）可能不适用；三是多视角 FFN 与多序列融合带来的工程复杂度、显存与训练稳定性代价没有给出明细；四是离线 GAUC 提升（+0.5% 级）与线上互动指标提升之间的因果链条只给了相关性证据。

6. 工业实践意义

对搜索/推荐从业者，这篇最值得借鉴的是"如何把大模型上量到在线系统而不被算力卡死"。可直接采纳：语义 tokenization + user-item 解耦——把用户侧表征与候选 item 侧计算分离，item-dependent 序列用 target-attention 预聚合，使每请求多候选打分时用户侧只算一次，论文实测 512 候选/请求拿到 48% QPS 提升、GAUC 近乎无损。这对社区 feed / UGC 搜索的精排尤其关键：候选量大、用户侧序列长，解耦能直接换出延迟预算去上更大的模型。值得尝试：多序列 cross-attention 按短/长期、甚至按行为类型隔离建模，并用按活跃度个性化的融合权重 α，缓解异构行为糅在一起导致的偏好坍塌；多视角 FFN（S/NS/T-FFNs）做按组件的参数分配，比全模型等比放大更省、scaling 曲线更平滑。需要警惕：线上时长类绝对增益只有 0.1%~0.3%，是亿级大盘流量摊出来的，小流量业务未必复现；其次该方案在快手短视频生态验证，迁到图文/搜索相关性场景需重做特征分组与 item 解耦的可行性评估；最后多视角 FFN + 多序列融合的训练稳定性与显存开销，落地前要先压测。部署层面，BF16 + per-GPU batch 2048 + AdamW 是常规配置，主要工程量在 tokenizer 的语义分组改造与解耦推理链路上。