问题与动机
当前工业搜索、广告和推荐系统的 Scaling Law 研究主要聚焦于模型架构改进，忽略了数据与架构设计之间的关键协同效应。作者通过实验观察到两个核心问题：(1) 单纯扩展模型参数存在边际收益递减——随着模型规模增大，性能增益持续下降；(2) 复杂异构数据分布（跨域行为、未曝光样本）在朴素混合时会导致负迁移，4倍参数的模型在直接使用异构数据后 AUC 反而下降 0.43%。这一发现挑战了"更大模型+更多数据=更好效果"的简单假设，揭示了数据-架构协同设计的必要性。论文构建在 ESMM、DCNv2、HiFormer 等前序工作的基础上，但首次系统性地将整体空间数据扩展与异构模型架构统一到一个框架中。
方法详解
UniScale 包含两个核心组件：ES³ (Entire-Space Sample System) 数据扩展系统和 HHSFT (Heterogeneous Hierarchical Sample Fusion Transformer) 模型架构。
ES³ 数据扩展系统分为域内扩展和跨域搜索化两部分。域内扩展通过纳入未曝光样本来缓解曝光偏差，采用分层标签归因策略：跨域点击信号按"搜索已曝光→搜索未曝光"的优先级分配，跨域转化信号按"搜索点击→曝光未点击→未曝光"的优先级分配。跨域搜索化则将推荐域的行为数据转换为搜索域格式，通过三种方式生成合成 query：历史 query 复用、共现统计、ANN 语义检索。这将训练数据从 1.0× 扩展到 5.0×，正样本点击信号从 1.0× 增加到 4.0×。
HHSFT 模型架构的核心是异构分层特征交互模块 (HHFI)：将特征分为语义块后通过 MLP 令牌化，每个 token 使用独立的 QKV 投影矩阵（W^Q_i, W^K_i, W^V_i）而非共享投影，这保留了不同类型特征（类别 ID、连续价格、行为序列）的语义独立性。全局特征注意力层通过复合投影机制捕获高阶交互。
跨域信息融合通过两个模块实现：(1) DREF（域路由专家融合）将专家网络分为域共享和域专有两类，通过门控网络自适应融合：e = α_s·f_s(z) + α_d·f_d(z)；(2) DAPGA（域感知个性化门控注意力）实现前向可见、反向隔离的跨域注意力——目标域表示作为 query，跨域 Key/Value 的梯度被截断以防止噪声传播，sigmoid 门控网络 γ = φ(W[Emb_u; Emb_d] + b) 根据用户和域特征调节跨域迁移强度。
损失函数为标准多域交叉熵损失：L(θ) = -Σ_d Σ_(x,y) [y log(ŷ^(d)) + (1-y)log(1-ŷ^(d))]。训练采用异步数据读取、特征预哈希、RDMA 集群通信；推理采用 FP16 量化和融合 masked QKV attention kernel。
核心技术贡献
- 数据-架构协同 Scaling 框架：首次证明数据扩展与模型扩展存在协同效应——异构数据带来的性能增益随模型规模扩大而非线性增长（从 1× 模型的 +0.12% 到 4× 模型的 +0.32%）。这打破了传统 Scaling Law 研究中数据和架构独立优化的范式。
- 跨域搜索化 (Searchification)：创造性地将推荐域行为数据转换为搜索域格式，通过合成 query 生成实现跨域数据统一，而非简单的特征拼接。这种方法保留了搜索排序的 query-document 匹配语义。
- Token-Specific 异构注意力：区别于标准 Transformer 的共享 QKV 投影，为每个特征 token 分配独立投影矩阵，有效处理推荐系统中特征类型高度异构的问题。
- 梯度隔离的跨域融合：通过 Key/Value 梯度截断和个性化门控，在实现跨域信息流动的同时防止负迁移。
实验结果分析
离线实验在淘宝十亿级数据集上进行。HHSFT+ES³ 相比 DLRM-MLP 基线提升 AUC +1.14%、GAUC +0.86%（300M 参数），显著优于 DCNv2 (+0.08%)、Wukong (+0.21%) 和 HiFormer (+0.54%)。
消融实验揭示了关键设计选择的贡献：HHFI 中异构注意力贡献 +0.41%（vs 标准 Transformer 的 +0.17%）；ESUIF 在使用 ES³ 数据时，不加 DREF/DAPGA 反而下降 0.43%（负迁移），加入 DREF+DAPGA 后提升 +0.32%。这证实了仅扩展数据而不匹配模型架构会适得其反。
Scaling Law 分析显示分层容量分配的重要性：扩展全局特征注意力维度 d_G 带来 +0.30% 增益，而扩展异构注意力仅 +0.17%。协同效应呈非线性——更大模型从异构数据中获得的边际增益更高。
线上 A/B 测试在淘宝搜索 5% 流量上运行 10 天：购买量 +1.70%，GMV +2.04%，同时 GPU 推理成本降低约 55%，训练开销降低约 40%。
局限与未来方向
作者明确提出未来方向是"样本、特征和架构的三位一体 Scaling"。论文的隐含局限包括：(1) 仅在电商搜索场景（淘宝）验证，跨域泛化性未知；(2) 搜索化模块依赖 query 语料库和共现统计，在 query 分布稀疏的场景可能效果受限；(3) 梯度截断和门控机制增加了训练复杂性。
工业实践意义
对搜索推荐从业者而言，UniScale 提供了几个关键实践启示：
- 不要盲目堆参数：单纯扩大模型规模的边际收益递减，应同时优化训练数据的分布和来源。对于 UGC 搜索场景，可将推荐域（信息流推荐）的用户行为数据搜索化后引入搜索排序训练。
- 跨域数据需配套架构：直接混合跨域数据可能导致负迁移（-0.43%），必须配合域路由专家和梯度隔离机制。这对多业务线共享排序模型的团队尤为重要。
- 部署优化可观：列表级数据重组减少约 50% 冗余特征存储，FP16 量化 + 融合 attention kernel 实现推理成本降低 55%。这些工程优化在追求更大模型时不可或缺。
- Token-Specific 投影值得尝试：在特征类型多样的排序模型中，为不同特征分配独立 QKV 投影是一个低成本但有效的改进方向。