1. 问题与动机
工业 CTR 模型面临两类问题。序列侧：AutoSplit 把整条行为序列压成少量 token 省算力，却牺牲细粒度行为语义；OneTrans、MTGR 等展开式保留更多序列信息，但超长序列下计算复杂度高、信息冗余或稀疏；且现有模型多只做 candidate-aware 兴趣建模，忽视序列自身结构属性，也忽视"长期行为 vs 实时行为在语义与时效上本质不同、需分别建模"。特征交互侧：transformer 式模型对所有特征施加同构成对注意力，忽略异构域间语义鸿沟；自注意力规模上昂贵，盲目加宽加深易过拟合或边际递减——作者给出一个扎眼的反例：DLRM-Large 参数扩 7× 才换来 +0.13% AUC-CTR、+0.14% AUC-CVR，说明"纯堆参数"性价比极差，需要结构层面的 scaling。
2. 方法详解
HeMix 两大件。① Query-Mixed 兴趣抽取：把非序列（NS）token 按 4:1 切成 T_NS^G（全局序列用）与 T_NS^R（实时序列用）；引入可学习固定 query 嵌入 Q=[Q^G,Q^R]∈R^(N_NS×d_T) 捕捉上下文无关的稳定行为模式，再与动态 query（NS token）经 Mixed Hetero Attention 融合。该注意力关键是异构投影：每个 query 用专属投影 W_Q^(l)，而 Key/Value 共享 W_K、W_V，Att^(l)=softmax(Q̃^(l)K̃^T/√d)，Q̃^(l)=Q^(l)W_Q^(l) 为异构、K̃=K·W_K 为共享。输出全局序列 token O^G（上下文相关的长期兴趣）与实时序列 token O^R（当前意图），拼成 T_S（N_S=2×N_NS）。② HeteroMixer 块替代多头自注意力，三步：多头 token 融合（每个 token 按 M 切头、跨 N 个 token 拼成混合 token 矩阵 G∈R^(M×N·d_h)）；异构混合 token 交互（每个混合 token G_m 用一对低秩 MLP 独立处理 Ĝ_m=W_m^R·ReLU(W_m^L·G_m)，W_m^L∈R^(d_r×N·d_h)、d_r≪N·d_h，用低秩在容量与效率间取平衡）；分组对齐重建（逆 reshape 回原 token 空间接残差 S=LN(T̂+T)）。整体：embedding→tokenize（NS token 经 MLP+Split + Query-Mixed 序列 token）→L 层 HeteroMixer→mean pooling→MLP/LR 出 CTR/CVR。参数量 ≈ 2kLNd_T²（k 扩张比≈4、L 块深、N=60（N_NS=20、N_S=40）、d_T=256），HeteroMixer 仅增 2LNd_T·d_r 可忽略。训练 batch=256、lr=1e-4、100 GPU TensorFlow，warm-start：稀疏 ID embedding 预训练、dense 部分冷启。
3. 核心技术贡献
(1) 统一异构 tokenization：用异构投影把上下文相关（动态）与上下文无关（固定 query）兴趣从全局/实时双序列联合建模，而非只做 candidate-aware。(2) HeteroMixer：参数高效的 token mixing 替代成对注意力，做多粒度、跨子空间异构交互，GFLOPs 与 RankMixer 相当却全面更优。(3) 结构化 scaling：相比盲目加深加宽，受控参数扩张带来可预期的稳定增益，正面回应了 DLRM-Large 那种低效扩张。(4) 生产级效率：HeMix-Small 1.89 GFLOPs（对 RankMixer-Small 2.07、DLRM-Large 2.6、AutoInt 3.23），在更低算力下取得更高 AUC。
4. 实验结果分析
数据集 AMAP：200 万+用户、250 万+物品、44 亿样本，全局序列均长 332、实时序列均长 10。约 100M 参数档（表 2）：DLRM-Small CTR-AUC 0.7312；RankMixer-Small 0.7341；HeMix-Small 0.7350、CTR-Logloss 0.2495、CVR-AUC 0.7902。1.5B 档：RankMixer-Large 0.7357/GFLOPs 30.18；HeMix-Large 0.7366/27.58——+0.39% AUC 同时省 8.6% 算力。tokenization 消融（表 3）：去固定 query -0.05%、去 Mixed Hetero Attention -0.08%、去全局序列 -0.14%、去实时序列 -0.22%（实时信号最关键）。交互结构对比（表 4）：Transformer 0.7336、RankMixer 0.7345（+0.09%）、HeteroMixer 0.7350（较 RankMixer +0.14%）。scaling（图 3）从 100M 到 1.5B HeMix 全程压过 RankMixer 且算力更低，曲线不饱和。线上 A/B（表 5，AMAP 7 天、数十亿 DAU）对 DLRM：GMV +3.61%、PV_CTR +2.78%、UV_CVR +2.12%；对 RankMixer（SOTA）：GMV +0.61%、PV_CTR +2.32%、UV_CVR +0.81%，说明相对当前最强基线仍有可观增量。
5. 局限与未来方向
作者未显式列局限。隐含约束：线上部署用约 100M 的 HeMix-Small 以满足延迟/吞吐，更大模型服务成本成比例上升，1.5B 主要用于离线验证 scaling；实时序列信号最强、全局序列在工业规模下贡献相对小，长序列建模的边际值得再评估；方法假设可拿到多行为时序序列，缺时序行为数据的系统适用性不明。AUC 绝对增量在 0.1%~0.4% 量级（CTR 任务常态），需靠线上大流量放大成 GMV 收益，离线小幅提升不能直接外推。
6. 工业实践意义
对社区搜索排序的借鉴：(1) 把"用户兴趣抽取"和"特征交互"放进同一 backbone、分别用 Query-Mixed 与 HeteroMixer 处理，避免传统 DLRM 两者割裂；上下文相关（随 query/场景变）与上下文无关（用户稳定偏好）兴趣分离建模，契合短文本 query 下的个性化排序。(2) HeteroMixer 用低秩 MLP 做 token mixing 替代自注意力，是控制异构特征交互算力的实用手段——同等甚至更低 GFLOPs 拿到更高 AUC，且 scaling 表现说明能吃下更大容量，对算力敏感的在线排序很有价值。(3) 消融显示实时行为序列贡献最大（-0.22%），提示工程上优先保障实时行为特征的时效与质量，而非一味拉长全局历史。(4) 部署考量：warm-start（稀疏 ID embedding 预训练、dense 冷启）、100 GPU 训练；线上用小档控延迟，靠结构而非纯堆参数提效，适合资源受限团队参考——先在自有数据上复现 HeteroMixer 对 RankMixer 的 +0.14% 离线增量，再决定是否上线。