1. 问题与动机
推荐模型的 scaling law 研究近年受到广泛关注，其核心问题是如何建立模型性能与参数量/FLOPs 之间的可预测关系。当前主流的三种 scaling 架构——基于注意力的方法（如 HSTU）、基于 TokenMixer 的方法（如 RankMixer、MixFormer）、以及基于因子分解机的方法（如 FinalMLP）——在设计哲学和结构上存在根本差异，缺乏统一的理论框架来比较和优化它们的 scaling 效率。
与 LLM 中同质化的文本 token 不同，推荐系统面临异构特征空间的独特挑战：用户画像、物品属性、行为序列、查询特征等不同语义域的特征需要不同的交互模式。现有方法各自为政，导致实践者在架构选择上缺乏理论指导，不同架构的 scaling 效率（ROI）难以直接比较。
2. 方法详解
UniMixer 的核心思想是将规则化的 TokenMixer 操作转换为等价的参数化结构。
特征 Token 化：输入特征按语义域（用户画像、物品特征、行为序列、查询特征）组织，通过域特定的嵌入层转换为 token 级嵌入，拼接后通过线性投影得到隐状态 X ∈ ℝ^(T×D)。
核心发现：TokenMixer 的特征混合操作可重新表示为 TokenMixer(X) = reshape(W^perm · flatten(X))，其中 W^perm 是一个具有可压缩性、双随机性、稀疏性和对称性约束的置换矩阵。直接实现该操作的复杂度为 O(T²D²)，不可接受。
Kronecker 分解：将 W^perm 分解为 W^perm = G ⊗ I，将复杂度降至 O(T⁴ + (D/T)²)，进一步通过流水线优化降至 O(L²/B + LB)（B 为块大小）。具体实现包括：
- 局部混合模式：每个块内使用独立权重矩阵 W_B^i 执行块内特征交互
- 全局混合模式：矩阵 W_G 控制块间信息流动
- 两者均通过 Sinkhorn-Knopp 迭代强制双随机约束
UniMixing-Lite：轻量版本使用基向量组合局部混合权重 {Z_ℓ}，全局矩阵采用低秩近似 A_G · B_G，大幅减少参数量。
SiameseNorm：引入耦合双流归一化（X̄_ℓ, Ȳ_ℓ），解决深层网络中 pre-norm 和 post-norm 各自的缺陷。
温度退火策略：从高温（τ=1.0）线性退火至 0.05；数据不足时采用两阶段策略——高温初始化后用低温和热启动权重重训。
训练配置：基于快手广告数据集（>7亿用户样本，一年数据，数百个异构特征），使用 AUC 和 UAUC 评估性能。
3. 核心技术贡献
统一理论框架：首次证明注意力、TokenMixer 和 FM 三种主流方法可在统一公式下表示（论文公式17），差异仅在于交互投影函数的选择。这为跨架构比较提供了理论基础，之前不同架构间的比较缺乏公平基准。
参数化 TokenMixer：移除了原始 TokenMixer 中 T=H 的硬约束，使混合模式可在训练中自适应学习。通过双随机约束和温度退火，在保持混合操作的结构化特性的同时引入灵活性。
最陡 Scaling 曲线：UniMixer-Lite 的 scaling 指数达到 0.142，高于 RankMixer (0.116) 和标准 UniMixer (0.132)，意味着每增加同等参数量获得的性能提升更大。
深层扩展能力：UniMixer-Lite 展示了正向的深度 scaling（2块→4块 AUC 从 0.749228 升至 0.750803），而 RankMixer 在深度增加时出现性能退化。
4. 实验结果分析
核心实验基于快手广告真实数据集，百万量级参数模型对比：
| 模型 | 参数量 | AUC | 相对提升 |
|---|---|---|---|
| RankMixer | 76.2M | 0.749329 | baseline |
| UniMixer-2-Blocks | 101.5M | 0.750238 | +0.5661% |
| UniMixer-Lite-2-Blocks | 76.2M | 0.751401 | +0.6824% |
| UniMixer-Lite-4-Blocks | 84.5M | 0.752718 | +0.8141% |
值得注意的是，UniMixer-Lite 在与 RankMixer 相同参数量（76.2M）下即超越其性能，说明架构效率而非单纯堆参数才是关键。
消融实验揭示各组件贡献：温度系数退火最关键（去除后 -0.1645% AUC），其次是模型热启动（-0.0856%），对称约束（-0.0573%）和块特定局部混合（-0.0436%）。
基向量数从 b=2 到 b=8 带来 +0.1055% 提升；秩从 r=2 到 r=256 带来 +0.0971% 提升，两者均以极小的参数增长换取显著性能提升。
线上 A/B 测试：部署于快手多个广告场景，D1-D30 累计活跃天数（CAD）平均提升超过 15%，验证了其工业级价值。
5. 局限与未来方向
论文未设专门的局限性讨论章节。隐含的局限包括：(1) 实验验证仅限于约 100M 参数规模，未探索更大规模（1B+）下的 scaling 行为是否延续；(2) Sinkhorn-Knopp 迭代在训练时引入额外计算开销，对训练吞吐量的影响未量化；(3) 温度退火策略需要精细调节（初始温度、退火终点、两阶段切换时机），自动化程度有限；(4) 所有实验仅在快手广告数据上验证，其他推荐场景（如内容推荐、电商）的泛化性未知。
6. 工业实践意义
架构选型参考：UniMixer 的统一框架使团队能在同一代码库内比较三种主流 scaling 架构的 ROI，避免独立实现和调参的重复劳动。Scaling 指数的拟合方法可直接用于预估「增加 X 参数量预期获得 Y% 收益」。
轻量部署路径：UniMixer-Lite 的基向量组合和低秩近似在保持 scaling 效率的同时大幅降低参数量和计算量，适合在线服务的延迟约束。实际部署时可从少量基（b=2）和低秩（r=2）起步，按需扩展。
训练稳定性工具：SiameseNorm 和温度退火策略解决了深层推荐模型训练不稳定的通病。特别是温度退火（消融中贡献最大），是一个即插即用的训练技巧，可迁移至现有推荐模型训练中。
线上 15%+ CAD 提升：在快手这一超大规模广告平台上验证了显著的业务指标提升，说明 scaling 架构的优化可以直接转化为商业价值。但需注意该指标是 CAD（累计活跃天数），与常规 CTR/CVR 指标有区别，解读时需结合具体业务逻辑。