1. 问题与动机
推荐系统的 Scaling Law 近年来得到广泛验证——MetaFormer 类架构在增加模型深度、隐层维度和用户行为序列长度后性能持续提升。然而，一个关键问题尚未被充分探讨：表征能力是否随参数增长而线性扩展？
作者团队在 RankMixer 的实证分析中发现了一个令人担忧的现象：token 表征的有效秩（effective rank）在深层出现"阻尼振荡"轨迹，即有效秩不仅没有随深度增加而持续提升，反而在某些深层发生退化。这意味着即使模型从 10M 参数扩展到 100M，表征仍可能被困在低维子空间中，导致表征坍塌——学习到的表征集中在低维子空间，模型区分不同用户和物品的能力受限。
这一发现对工业界的推荐系统 Scaling 实践具有根本性影响：单纯堆叠参数量并不能保证推荐效果的线性提升，需要在架构层面引入结构性约束来维护表征的多样性和表达能力。
2. 方法详解
RankUp 提出五个核心架构组件来缓解表征坍塌：
（1）随机排列分裂（Randomized Permutation Splitting）：替代传统的语义分组策略。使用随机置换算子 σ 将稀疏特征索引随机打乱后分配到不同 token 中。核心原理是：语义分组会导致高度相关的特征聚集在同一 token 中，造成 token 间冗余度过高。通过随机分裂，高相关特征被分散到不同 token，扩展了初始表征的几何基底。互信息分析证实，该策略使 token 间的冗余度显著降低。
（2）多嵌入表征范式（Multi-Embedding Paradigm）：采用 K 个独立的 embedding table (ψ₁,...,ψₖ) 替代单一 embedding 函数。每个特征获得来自不同 table 的 embedding 元组，提供"多个几何视角"。这打破了单一 embedding 空间的表达瓶颈，使相同特征可以在不同子空间中被捕捉。
（3）全局 Token 集成（Global Token Integration）：引入聚合全局 token g = func(Pool({Embed(fᵢ)}))，捕获全局输入上下文信息。与局部 token 并行处理，使模型能在特征间建立全局交互，避免信息被局部分组割裂。
（4）交叉预训练嵌入（Cross Pre-trained Embedding Integration）：通过元素级乘积注入交互先验：e_cross = Proj(z_ue ⊙ z_ie)，将用户和物品的预训练嵌入组合后融入模型，显式暴露"交互感知的先验知识"，为深层网络提供更丰富的初始化信号。
（5）任务特定 Token 解耦（Task-Specific Token Decoupling）：引入 K 个可学习任务 token {x_task^(k)}，在 MetaFormer 骨架中独立处理。核心目标是缓解多任务监督下的表征坍塌——不同任务的梯度信号可能相互干扰，任务 token 解耦后各自维护独立的表征空间。
训练配置：2 层 MetaFormer 骨架，100M 参数（从 ~10M 基线扩展 10 倍）。输入包含 1200+ 稀疏类别 ID、稠密向量和序列表征。联合优化 32 个转化预测任务，使用 Pre-Layer Normalization 和 SwiGLU 激活函数保证深层训练的梯度稳定性。计算量约 70 GFLOPs/batch，模型 FLOPs 利用率 23%。
3. 核心技术贡献
贡献 1：揭示推荐模型的表征秩退化现象。 通过有效秩分析（erank(H^l) = exp(-Σpᵢ ln pᵢ)，其中 pᵢ 是归一化奇异值分布）量化了 MetaFormer 深层网络中表征多样性的退化轨迹。这是首次在推荐系统 Scaling 研究中系统性地分析了参数增长与表征质量的关系。
贡献 2：五组件协同架构提升表征秩。 随机分裂降低 token 间冗余、多嵌入提供多几何视角、全局 token 建立跨特征交互、交叉嵌入注入先验、任务解耦减少梯度干扰——五个组件各自解决表征坍塌的不同成因。消融实验显示各组件贡献互补。
贡献 3：微信三大产品线的全量部署验证。 RankUp 在微信视频号、公众号和朋友圈三个亿级流量场景中全量上线，提供了推荐系统 Scaling 研究中罕见的多场景生产级验证。
贡献 4：冷启动场景的显著增益。 新广告 GMV 提升分别达到 5.83%、9.67% 和 2.84%，说明高秩表征对冷启动物品的表达能力尤为关键。
4. 实验结果分析
离线实验：在真实生产数据上，RankUp 各组件的累积提升显著：
| 组件 | Order AUC 提升 | Book AUC 提升 | Add Service AUC 提升 |
|---|---|---|---|
| + Randomized Split | +0.06% | - | - |
| + Global Token + Multi-Emb | +0.21% | - | - |
| + Cross Embedding | +0.22% | - | - |
| + Task Token | +0.09% | - | - |
| 累积 | +0.41% | +0.23% | +0.25% |
在线 A/B 测试（14 天，20% 生产流量）：
| 场景 | AUC 提升 | CTCVR | GMV |
|---|---|---|---|
| 视频号 | +0.367% | +1.41% | +3.41% |
| 公众号 | +0.331% | +0.21% | +4.81% |
| 朋友圈 | +0.269% | +0.87% | +2.12% |
消融分析亮点：互信息差矩阵（48-64 cluster 分析）证实随机分裂策略显著降低 token 间冗余；有效秩动态图显示 RankUp 各变体在 Token Mixer 和 FFN 层均维持更高有效秩；任务 token 在细粒度聚类（64 clusters）下的互信息提升最为显著。
冷启动表现极为突出：新广告 GMV 提升在公众号场景达到 9.67%，说明高秩表征对新物品的泛化能力远超低秩基线。
5. 局限与未来方向
论文主要聚焦 MetaFormer 架构上的表征秩分析，尚未探讨：（1）更深层网络（10+ 层）中有效秩的行为模式是否与 2 层一致；（2）不同类型的稀疏特征（如文本 vs ID vs 数值）对表征秩的影响差异；（3）多嵌入范式 K 值的选择策略——论文未详细讨论 K 的敏感性分析。
此外，23% 的模型 FLOPs 利用率表明仍有较大的计算效率提升空间，如何在保持高秩表征的同时进一步优化推理效率是值得探索的方向。
6. 工业实践意义
对搜索排序模型的直接启示：在 Scaling 推荐/排序模型时，应建立有效秩监控机制——不仅关注 AUC/nDCG 等下游指标，更要追踪中间层表征质量。如果发现有效秩随深度增加而停滞或退化，应考虑引入类似 RankUp 的结构性约束。
工程实践要点：
- 随机分裂：实现成本极低（仅需一个随机置换操作），可立即在现有模型中试验
- 多嵌入：会增加 K 倍的 embedding table 存储，需在表达能力和资源消耗间权衡
- 冷启动优势：对 UGC 平台尤为重要——新内容频繁产生，高秩表征有助于从有限信号中提取有效特征
部署指标参考：70 GFLOPs/batch 在微信广告场景下满足延迟约束，100M 参数量在工业级 GPU 集群上可支持全量推理。三个场景的一致性提升（GMV +2~5%）说明该方法具有良好的场景迁移性。据估计，全量部署带来年化数亿美元级收入增长。