1. 问题与动机
天猫搜索精排正在从传统 DLRM 转向计算密集型 Transformer，但直接照搬 LLM 的“全部 token 化”并不适合工业排序。搜索输入同时包含 query、候选商品、用户超长行为序列、统计特征、显式匹配分和位置等偏差特征，它们的分布、维度和更新频率差异很大。OneTrans 一类统一骨干把这些信号塞进同一个注意力流后，高频且强判别的显式交叉信号容易被深层注意力的低通效应稀释；传统 DLRM 又受稀疏 embedding 随机访存限制，现代 GPU Tensor Core 利用率低，继续加宽 MLP 很快遇到 scaling ceiling。论文因此提出一个更具体的问题：能否在保留异构特征归纳偏置的前提下，把精排主干改造成可预测扩展、能高效吃算力且满足线上延迟约束的 Transformer。
实验数据也体现了这一难点：天猫搜索日志覆盖连续 31 天、约 5 亿样本、1300 万用户和 7400 万商品，用户序列平均长度为 1500，显著高于常见工业设置的 200 以内。前 30 天共 4.84 亿样本用于训练，第 31 天 1600 万样本用于测试，严格按时间切分。模型既要在超长行为中抽取兴趣，又不能损伤同一 query 会话内候选的相对次序，这也是论文将 GAUC 作为主要离线指标的原因。
2. 方法详解
TmallGS 的第一步是“分层分布校准 token 化”。对第 i 个字段的序列矩阵，先做 Field-wise Saliency Reweighting：池化字段得到摘要，经一个轻量 squeeze/excitation 式网络产生字段内显著性权重，再逐元素重标定原特征；随后 Distribution-Calibrated Projection 不使用重型 SwiGLU，而是按字段统计分布投影到统一维度。该组合相对 SwiGLU-FFN 将投影 FLOPs 降低约 33%，性能差距小于 0.03%。不同字段仍保留独立投影，不会因统一维度而丢失来源信息。
第二步构造异构序列，将 query、上下文、候选商品和用户行为按字段组装。候选商品同时评分时使用 Context-Dominant Visibility Mask：公共上下文可以被所有候选读取，候选之间则隔离，避免同一 batch 内的信息泄漏。主干的每层采用 Per-Field Q/K/V 投影，让不同字段学习各自的语义变换；Noise-Adaptive Gated Attention 再根据 token 内容控制注意力输出，抑制长行为序列中的噪声和 attention sink。移除门控后 GAUC 下降 0.16%，说明它不是装饰性模块。
第三步是 Decoupled FiLM Late Fusion。显式交叉、匹配分等高频信号不穿过所有 Transformer 层，而是在主干产生语义表示后，以缩放和偏移的方式调制表示。与简单拼接相比，FiLM 的乘性调制更能恢复精排所需的强交互；去掉 FiLM 时 GAUC 下降 0.32%，改为加法拼接也下降 0.24%。Context-Aware Bias Net 则单独用全局上下文估计系统性偏差，使位置、曝光等偏差信号与真实用户意图解耦。
训练采用 Error-Aware Progressive Training：根据层级预测误差动态加权困难样本，并联合 pointwise 与会话内 pairwise 排序目标。消融中去掉 pairwise loss，GAUC 下降 0.87%，但全局 AUC 基本稳定，清楚说明会话内排序目标不可替代。为继承历史稀疏 embedding，论文先冻结稀疏表、对齐新稠密主干，再端到端联合微调；两阶段 warm-up 相比直接加载带来 AUC +1.42%、GAUC +1.09%。训练运行在 16 张高性能 NVIDIA GPU 上，全局 batch size 4096，学习率 2e-4；稀疏参数用 Adam，稠密 Transformer 与 MLP 用 AdamW，以适应两类参数不同的收敛与正则需求。
线上模型没有盲目追求十亿参数。Scaling-law 分析后，作者优先增加序列长度而非层数，最终配置为 4 层、hidden size 1024、8 个头、序列长度 1500，稠密主干约 0.05B 参数。这个“浅而宽、长上下文”的形态能提高 GPU 并行度，并将新增平均延迟控制在 6ms。
3. 核心技术贡献
第一，论文把“统一架构”重新定义为共享计算骨干而非抹平所有字段。字段独立 QKV、分布校准投影和显式信号晚融合共同保留异构性，使 Transformer 既能做全局交互又不会吞掉排序领域的强先验；相对生产基线，离线 AUC 与 GAUC 分别提升 1.12% 和 1.26%。
第二，方法将扩展效率与排序正确性一起设计。FSR+DCP 降低约 33% 投影 FLOPs，Context-Dominant Mask 防止多候选泄漏，门控注意力抑制长序列噪声，解决了只扩模型但 MFU 和精排质量不同步的问题。
第三，两阶段 warm-up 与拆分优化器为旧 DLRM 迁移到计算密集主干提供了可执行路径。它不是从零训练一个孤立模型，而是显式处理海量历史 embedding 与新主干的流形错位，因此更适合已有生产系统渐进替换。
第四，论文用 30 天线上实验验证架构收益，而非只报告离线 AUC。最终 GMV +1.52%、UCTCVR +1.38%，说明 scaling-law 导向的主干在严格 SLA 下能够转化成商业指标。
4. 实验结果分析
| 模型/设置 | ΔAUC | ΔGAUC | 线上结果 |
|---|---|---|---|
| DIN 生产基线 | 0.00% | 0.00% | — |
| TmallGS | +1.12% | +1.26% | UCTCVR +1.38%，GMV +1.52% |
| 去掉 FiLM | — | -0.32% | — |
| FiLM 改为加法拼接 | — | -0.24% | — |
| 去掉噪声自适应门控 | — | -0.16% | — |
| 去掉 pairwise loss | 基本稳定 | -0.87% | — |
最关键的结果不是某一个离线百分点，而是各项消融与设计动机一致。FiLM 的降幅最大之一，证明统一 Transformer 确实会稀释显式匹配；pairwise loss 对 GAUC 的影响远大于 AUC，说明全局点击预测好不等于同一搜索会话内排得好。FSR+DCP 在性能几乎不变时减少约三分之一投影计算，也说明效率优化没有靠牺牲精度换取。
线上 30 天 A/B 结果均达到 p<0.05。除了 UCTCVR 和 GMV，表中另有两个核心指标分别提升 0.79% 与 0.34%；论文重点解释 GMV 与 UCTCVR，因为它们更直接反映用户满意度和转化效率。新增 6ms 延迟仍在生产 SLA 内，这使 50M 稠密主干成为现实可部署点。需要注意，实验只使用天猫私有数据，虽然样本规模大、线上证据强，但无法由外部团队完整复现。
5. 局限与未来方向
作者没有单列正式 limitations 章节，但在部署与结论中明确承认：高 QPS、低延迟搜索目前不适合直接部署十亿参数 LLM，因此线上只使用约 0.05B 的浅宽模型；公开数据集也缺少同时包含超长行为和 query-item 显式匹配的数据，实验只能在天猫私有日志上进行。论文计划继续探索十亿参数级扩展和多模态生成能力，但这会重新带来延迟、成本及在线稳定性问题。
论文未充分讨论的限制包括：所有结果来自单一电商平台，UGC、短视频或新闻推荐中的特征分布可能不同；30 天实验能证明短中期收益，尚不能回答长期兴趣固化、流行度偏差和生态多样性；Context-Aware Bias Net 的因果可识别性也未被验证，所谓“偏差解耦”更接近预测性正则而非严格因果校正。
6. 工业实践意义
对搜索/推荐团队，最值得采用的不是完整复制五个模块，而是三条迁移原则。第一，先按字段盘点信号：query 与内容语义适合深交互，位置、统计分和强交叉适合旁路晚融合，稀疏 ID 与稠密主干应使用不同优化器。第二，在扩深度前先扩有效历史长度；TmallGS 的线上选择是 4 层、1024 维、1500 序列，而不是更深模型，说明对行为建模，覆盖更长时间跨度可能比增加层数更划算。第三，离线必须同时看 AUC 与按会话分组的 GAUC，并保留 pairwise 目标，否则模型可能提高全局点击预测却破坏单次 query 下的候选次序。
对社区 UGC 搜索，可将帖子文本、作者、话题、互动统计和用户历史分别建字段；文本与历史进入门控 Transformer，BM25/语义匹配分、作者关系和时效分通过 FiLM 晚融合。上线应从 4 层级别的小主干开始，记录 MFU、P95/P99 延迟、GAUC、CTR 与停留时长，并按序列长度做 scaling sweep。需要避免两种做法：把所有特征无差别 token 化，以及只用全局 AUC 判断精排收益。若已有大型 embedding 表，优先复用论文的“冻结稀疏表对齐主干—联合微调”两阶段迁移，可显著降低替换旧模型的风险。