MixFormer: Co-Scaling Up Dense and Sequence in Industrial Recommenders
MixFormer 针对工业推荐中“序列建模”和“稠密特征交互”分离导致的容量分配问题,提出统一 Transformer-style backbone,把用户行为序列、非序列特征和高阶交互放到同一参数化结构里共同扩展。离线数据来自抖音推荐系统连续两周、万亿级 user-item 交互,单样本超过 300 个特征;MixFormer-medium 相比 TADLRM 在 Finish AUC/UAUC 上提升 +1.28%/+1.60%,Skip AUC/UAUC 提升 +1.60%/+2.46%。线上 A/B 覆盖抖音与抖音极速版,整体时长分别提升 +0.2799% 和 +0.4105%,评论最高提升到 +1.9097%。
INSIGHT这篇论文的实践启示很直接:推荐大模型扩容时,不应只在序列塔或特征交互塔单点堆参数,而应让两类信号在同一 backbone 中共享容量并深度交互。它的 UI-MixFormer 通过 user-item decoupled HeadMixing 做请求级复用,把 medium 版 FLOPs 从 3503 降到 2242,同时保持同等 AUC/UAUC;这对 UGC 信息流和社区搜索排序很有价值,因为长行为序列与上下文/内容特征往往同时决定 CTR、停留和互动。