HELIX 深度解读

1. 问题与动机

工业推荐精排同时依赖两种能力：从用户、物品、上下文等异构字段中学习高阶交互，以及从长而多类型的用户行为序列推断当前意图。传统 RankMixer 加 Transformer 把二者相对分离，单纯加宽加深时收益很快变小；统一 token 的 OneTrans 虽能交换信息，却让特征 token 的自注意力占用序列检索容量，也难以把用户历史计算在多个候选之间复用。论文关心的不是单个模型能否更大，而是同样增加参数和 FLOPs 时，CTR、CVR 的增益斜率能否持续。TikTok 电商精排需要一次请求评估大量候选，候选无关的用户历史若每次重算会形成实际部署瓶颈。作者由此提出在架构中明确区分用户侧序列和候选侧特征，并把跨层的行为检索与特征交互交织起来。表 1 显示生产基线从 210M 参数扩大到 1069M，CTR AUC 相对只增加 0.04%，说明纯扩容不够。

2. 方法详解

输入被分成三流。第一流是候选相关的非序列特征 xc，包括用户、视频、场景和交叉字段；第二流是候选无关的用户历史 su；第三流是与候选有关的 U×C 序列 su×c，例如按当前候选做 hard-search 或 soft-search 得到的行为。预测形式为 y(u,c)=f(xc,su,su×c)，各任务塔输出点击、转化、交易价值等目标，随后经任务融合函数形成最终排序分。MixTokenizer 先拼接非序列 embedding 与各序列的均值池化，再按固定宽度 Auto-Split 为 M 个 mix token；每个 token 有自己的 LayerNorm 和前馈投影，这保留字段组的异构性。序列另由 SeqTokenizer 编码，粗粒度均值只是提供初始全局信息，细粒度序列仍供后续检索。

候选侧 MixFormer 每层先用 mix token 作 query、候选相关序列作 key/value 进行 cross-attention，再执行 Mixup-PerToken-FFN。Mixup 将每个 token 的通道切成 M 片，把来自所有输入 token 的第 t 片重新拼成输出 token t，随后用逐 token 的 SwiGLU 前馈网络做非线性交互。这个无参数的通道重排显式实现跨 token 通信，避免以完整自注意力矩阵处理高度异构字段。注意力采用 QK 归一化、分组 query 以及 value 投影后的 sigmoid 门控。SeqFormer Encoder 对候选无关的历史做自注意力，并通过逐层缩短 query 的金字塔压缩产生可复用的最终层 K/V 缓存；Decoder 让候选 mix token 反复从缓存检索，再执行同一特征交互算子。信息只由用户历史流向候选流，不能逆流，因此一次用户编码可被同请求所有候选共享。

工程实现先移除 padding、使用变长 kernel，再用 M-FALCON 在服务侧共享 K/V；训练侧按用户摊销 Encoder 成本。论文报告使用 TikTok 电商内部工业数据，离线对齐数据、特征、任务和优化协议，线上做随机全流量 A/B。模型规模从 46M、2.31G FLOPs 的 S 型增加到 1050M、130.24G FLOPs 的 XXL 型；主比较 HELIX-L 为 358M、35.28G FLOPs。论文没有披露训练集规模、优化器、batch size、训练步数和硬件细节，不能据此声称可一键复现。

3. 核心技术贡献

第一，三流划分与单向信息流把“特征交互”和“历史建模”连接起来，同时保持用户编码可复用。与统一 token 自注意力不同，候选 query 只能从序列 K/V 读取，消融显示仅保留 K/V 的 cross-attention 为 CTR、CVR AUC 各带来 0.02% 相对增益。第二，MPTF 用通道重排加逐 token 非线性变换替代特征自注意力，在匹配参数和算力下 CTR AUC 增益为 0.05%、CVR AUC 为 0.02%；这是表 3 中较大的单项收益。第三，只缓存最终 Encoder 层的 K/V，而不保存每层缓存，使特征交互深度和序列建模深度可以不对称扩展，CTR AUC 再增 0.01%，CVR 持平，并降低缓存内存。第四，作者针对逐 token SwiGLU 的激活尺度异常，在 gate、up 分支相乘前加入无可学习增益的归一化；消融对应 CTR 与 CVR AUC 分别增加 0.02%、0.01%，也改善 FP16/BF16 数值稳定性。这些模块分别解决检索焦点、异构特征混合、缓存开销与训练稳定性。

4. 实验结果分析

离线指标是相对生产基线的 AUC、UAUC 增益，不能误读成绝对 AUC 点数。主要结果如下：

HELIX-L 与 OneTrans 参数量接近、FLOPs 略少，CTR 与 CVR AUC 的相对提升分别多 0.06 和 0.07 个百分点。表 2 从 HELIX-S 到 XXL 呈持续增益：对 S 而言，M 的 CTR/CVR ΔAUC 为 +0.24%/+0.07%，L 为 +0.34%/+0.18%，XXL 为 +0.45%/+0.27%；论文指出最大规模仍未明显饱和。表 3 的消融还表明 value 前门控对 CTR/CVR 带来 +0.03%/+0.02%，QK-Norm 为 +0.03%/+0.01%，而分组 query 注意力质量基本持平却可减少 K/V 缓存。线上随机全流量实验中，电商视频每用户点击 +2.0591%、GMV +5.9932%、支付订单 +6.0964%、GPM +5.4624%；附录还报告视频锚点点击率 +1.8174%、观看时长 +0.9931%。这些是不同业务指标，不能把 GMV 增益直接等同搜索相关性增益。论文没有公开绝对基线值，也没有公开显著性区间。

5. 局限与未来方向

论文没有独立的 Limitations 章节，也未给出明确的作者自述局限。文中可确认的边界是全部主要数据来自单一内部电商视频推荐系统；为保密只报告相对离线指标，训练集规模、优化器、批量、训练步数和硬件配置没有给出；因此外部团队无法直接复现实验或判断相同收益是否适用于纯文本 UGC 搜索。额外的推论是，K/V 复用收益依赖同一用户请求中的多候选以及可缓存的用户状态；若请求候选数很少或用户行为更新极快，摊销优势可能减弱。这是迁移时应验证的工程假设，并非作者已证实的失败模式。未来工作可在公开序列与短文本排序数据上复现，并报告单请求延迟、峰值内存和更新滞后的权衡。

6. 工业实践意义

社区 UGC 系统可先在精排层做最小验证：把用户历史阅读、点击、点赞等日志构成 U-only 流，把与候选帖子相关的相似历史构成 U×C 流；帖子、作者、query、上下文等字段构成 mix token。先实现单向用户历史缓存和简化的 mix-token 交互，再与现有多任务排序模型对照，逐步加入 MPTF、最终层 K/V 缓存、门控及 QK 归一化。评估必须同时覆盖 nDCG、CTR、长尾内容曝光、每请求 P95/P99 延迟与显存，避免只看离线 AUC。表 3 显示收益并非来自单一“大模型”变量，适合按模块做因果消融；表 4 则说明架构改动可转化为真实业务收益。服务侧需要请求级用户缓存、缓存失效策略和候选批量复用；训练侧需按用户组织样本以减少重复编码。对低流量或行为稀疏用户，应单独评估回退模型，因为此时长序列容量未必发挥作用。