深度解读：UniRank 统一序列建模与特征交互的排序基准

1. 问题与动机

现代广告与推荐排序正从独立的序列模块、特征交互模块和任务塔，转向把行为、字段、目标物品与任务 query 统一成 token 的大排序模型。然而很多结论来自私有数据、闭源实现和专有集群；即使公开论文可复现，数据切分、特征编码、有效 batch、训练精度或 kernel 差异也会反转模型排名。FuxiCTR、DeepCTR 偏单任务表格 CTR，RecBole 偏一般与序列推荐，Scenario-Wise Rec、MMLRec 扩展了多场景或多任务，却没有同时覆盖工业规模长序列、token 化统一架构、时间一致评测与系统效率。

UniRank 因而不是再提一个新排序模型，而是试图建立可审计的比较坐标系。它要求统一数据管道、任务与指标、模型源码、容量超参、训练流程和效率优化六个层面，并用同一套时间顺序 pointwise 自回归监督评测 15 个模型。这个工作重要之处在于：如果控制变量不完整，所谓 scaling law、长序列收益或新架构优势可能只来自未来泄漏、参数预算和训练系统，而不是方法本身。

2. 方法详解

基准把统一排序模型分成两类。Stacked Unified Interaction 先编码行为序列，再把序列摘要与用户、目标物品和上下文字段交互，代表包括 HiFormer、RankMixer、Zenith、TokenMixer、UniMixer、HeMix、SSR。Layer-wise Unified Interaction 则在每一层持续融合序列和非序列 token，代表包括 OneTrans、HyFormer、MixFormer、INFNet、EST、TokenFormer、LONGER、UltraHSTU。前者常用 target attention 提前压缩历史，计算较轻；后者保留更多序列 token，信息流更完整但 active compute 更高。

五个公开数据集覆盖不同平台：QK-Video 4.93 亿样本、499.6 万用户、375.2 万物品、4 个任务；KuaiRand 3.23 亿样本、27285 用户、3203.9 万物品、6 个任务，平均序列 11855、最长 228030；TAAC-25 7.57 亿样本、770.7 万用户、2 个任务；Taobao 2360 万样本、4 个任务；MerRec 1.72 亿样本、4257.8 万物品、5 个任务。所有交互按全局时间切成最早 80% 训练、随后 10% 验证、最新 10% 测试，每个 target 只能读取同用户此前行为，避免 user-disjoint 随机切分把未来流行度泄漏给训练集。

预处理把特征分成 user、context、sequence、action 四类；低频类别映射 OOV，多值字段用带 mask 的平均池化，连续值分桶为类别索引。每个任务报告二元 Logloss 与 AUC。主基准统一 embedding 维度 16、三层网络、token 维度 256、pre-norm；每模型训练一轮，默认每 GPU batch size 8192，OOM 时等比例减小单卡 batch 并增加梯度累积以保持有效 batch。稀疏 embedding 用 Adagrad、默认学习率 0.05，稠密参数用 AdamW、学习率 1e-4；硬件统一为 NVIDIA H20，并仅对架构特有参数做网格搜索。

工具链以 PyTorch 实现：DDP 每卡一进程、NCCL 同步并分片验证测试；torch.compile/Inductor 只编译可用稠密模块，把稀疏 embedding 留在图外；bf16 autocast 降激活存储，BCE 固定 FP32 保数值稳定；标准 SDPA 可派发 Flash Attention，TokenFormer 与 UltraHSTU 的结构稀疏模式由 Flex Attention 支持；超长配置按交互 block 做 non-reentrant activation checkpoint；数据以匹配的 data、user_info、item_info Parquet block 读取，使用 block 局部缓存和 rank 间负载均衡；稠密与稀疏参数分别优化。OneTrans、序列长 1000 的实验中，全套优化配 4 卡获得 14.24 倍加速，单卡峰值显存下降 69.2%。

3. 核心技术贡献

第一，UniRank 将公平复现从模型代码扩展到数据时间线、任务定义、容量、优化器和 kernel。特别是全局时间 80/10/10 切分同时约束跨用户日历时间与用户内前缀，避免随机 user-disjoint 协议把冷启动泛化误当线上未来预测。第二，它把 15 种统一排序架构映射到同一 token 接口和 PyTorch 工具链，使 stacked 与 layer-wise 的信息流差异可以在相同数据和有效 batch 下比较。

第三，基准不仅给准确率排行榜，还分开报告参数量与一轮训练时间。Zenith 的大参数主要在稀疏 ID 表，时间并不按参数量同比增长；TokenFormer、UltraHSTU 保留序列 token 且用结构稀疏 attention，active compute 和 kernel launch 才是瓶颈。第四，作者把控制实验整理成实践手册：tokenization、attention activation、结构增强、稠密优化器和 scaling axis 均在 KuaiRand 与 MerRec 上交叉验证，暴露大量只在单数据集成立的经验。

4. 实验结果分析

15 模型没有全局冠军，下面列出几项代表性任务：

同一数据集内部也会换冠军：MerRec 的 Like 由 UniMixer 领先，Cart 由 EST 领先，Offer 由 TokenMixer 领先，Checkout 与 Purchase 则由 HeMix 领先。短视频、直播来源的 UltraHSTU、UniMixer、LONGER 在 QK-Video 与 KuaiRand 较强；电商来源的 EST、HeMix 更适合 Taobao、MerRec；TokenFormer 在广告 TAAC-25 更有竞争力。这说明架构归纳偏置会优先迁移到相似业务，而不是形成通用 SOTA。

手册实验比总榜更可行动。对 OneTrans，将注意力 Softmax 换成 GeLU，KuaiRand 平均 AUC 从 0.8548 升到 0.8599，MerRec 从 0.8051 升到 0.8089；SiLU 接近，SoftPlus 在 KuaiRand 明显退化，表明保留正负响应比累积弱正权重更稳。结构增强里 AttGate 是唯一在两数据集每个任务都提升的组件，平均 AUC 分别达到 0.8636 和 0.8150；但 QKNorm、GNorm 在 KuaiRand 更强，GNorm 却把 MerRec 平均 AUC 从 0.8051 降到 0.8018，RoPE 反而更利于 MerRec。

优化器同样没有万能答案。固定稀疏 Adagrad 后，LaProp 将 KuaiRand 平均 AUC 从 AdamW 的 0.8523 提至 0.8584，主要改善 Comment 与 Share；SOAP 将 MerRec 从 0.7891 提到 0.8084，主要改善 Cart、Offer、Purchase；Scion 在 KuaiRand 只有 0.8373，明显倒退。Scaling 实验显示 RankMixer 主要受益于 token 变宽，增加序列长度或深度收益有限，因为 target attention 已提前压缩历史；OneTrans 保留 token 穿过每一层，因此宽度、长度、深度都能持续扩展。FLOPs 增加只有匹配架构信息流时才会变成精度。

效率方面，统一环境仍揭示参数量不是服务成本的充分指标。Zenith 虽有庞大 ID 表，却先池化行为，训练时间未按参数增长；结构稀疏 attention 在序列只有 100 时可能受 kernel 启动开销拖累，不一定快于密集算子。UniRank 的 4 卡 14.24 倍加速超过理想 DDP 的 4 倍，因为数字相对未优化单卡基线，混合精度、编译、Flash/Flex Attention、数据流水线同时贡献；不能把它误读成纯多卡扩展效率。

5. 局限与未来方向

作者明确把系统优化上限排除在主目标外：模型按验证 AUC 调参，不按吞吐调优；Flex Attention 在短序列上的专用 kernel 和窗口仍有优化空间。因此当前训练时长不能代表各架构经过极致工程后的最好速度。五个数据集虽大，主结果仍把序列截为 100；最长 22.8 万只是数据能力范围，不能据此声称全部模型已在极限长度上公平跑通。论文也没有线上 A/B、P99 推理延迟、校准分桶或收益指标。

结论列出的未来计划是加入 TaoBao-MM、MicroLens 等多模态数据，以及 MerRec-1B、RecFlow 1B、VK-LSVD 40B 等更大规模数据。另一个未充分讨论的局限是公开日志的特征丰富度和采样机制仍弱于真实广告系统，AUC 排名未必等同线上策略收益；每模型只训一轮虽符合部分工业经验，也可能不公平于收敛较慢的架构。当前主要是 pointwise 二元反馈，listwise、多目标约束、因果和生成式排序仍不在统一协议内。

6. 工业实践意义

推荐团队最应采用的不是某个榜首，而是六项控制清单。先把原始日志过滤、特征编码、行为前缀、目标对齐和时间切分固化；再统一任务 eligibility、AUC/Logloss 实现、容量、有效 batch、精度和 kernel；最后同时记录参数、激活显存、吞吐、训练时长与线上延迟。模型选型至少在一个与目标业务相似的数据集上复测，因为跨平台冠军迁移并不可靠。

对社区 UGC 排序，可从 OneTrans 或当前稳定基线做低成本消融：先测试 GeLU/SiLU attention 与 AttGate，再比较 Field、Auto、Chunk tokenization；这些改造比直接换整套大模型更容易归因。多反馈任务应分别看点击、长观看、评论、分享、负反馈，不以平均 AUC 掩盖单任务退化。若需要 scaling，target-attention 早压缩架构优先扩宽；希望长历史和层间交互受益，则选择 layer-wise 结构并为 active tokens、Flash/Flex kernel 和显存付费。

工程上可直接复用其稀疏／稠密优化器分离、bf16 前向但 FP32 BCE、OOM 后 batch 与累积反向调节、分块 Parquet 缓存和多卡分片评测。14.24 倍加速与 69.2% 显存下降说明基准基础设施会显著改变可训练模型边界，但上线前必须单独测推理：训练优化并不自动等价于在线收益。UniRank 最重要的提醒是，工业排序的可信进步必须同时回答三件事：在同一时间一致数据上是否更准、在同一容量和优化预算下是否公平、在目标硬件上是否值得部署。