WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture
Meta 提出 WHALE,把擅长高阶静态特征交互的 Wukong 与擅长长行为序列的 HSTU 放进每一层,并让 Wukong 表征通过注意力逐层查询 HSTU 历史证据。模型在 800 亿训练样本、40 亿评测样本上验证;14 天线上 A/B 中主指标提升 0.113%,两个辅助指标提升 0.824% 和 1.820%,推理 QPS 仅回退 5%。
INSIGHT可借鉴点是把用户、物料、上下文交叉与长序列证据做逐层交换,而不是只在网络末端拼接;平均池化替代注意力会造成 0.23% NE 回退,浅层融合回退 0.25%。共享门控将 FFN 矩阵乘从 3 次降到 2 次,配合 Triton 内核使训练吞吐提升 30%,为 UGC 搜索排序同时利用实时交叉特征与长期行为提供了可部署路线。