CityUUxSID: Semantic-Aware User Interests Modeling for Ultra-Long Sequence
Kuaishou📖 有深读 · 10 分钟针对超长用户行为序列建模的'效率 vs. 效果'两难，UxSID 提出'语义组共享兴趣记忆'这第三条路径：用 Semantic IDs (SIDs) 把语义相近的 item 聚合，配合双层注意力 (item-to-SID + SID-to-target)，在不做 item-specific 检索的前提下捕捉 target-aware 偏好。端到端架构在大型广告 A/B 实验中取得 SOTA 效果并带来 0.337% 营收提升，证明该路径在工业部署上的可行性。
INSIGHTultra-long sequence 建模长期被 SIM、ETA、TWIN 等 item-search 路线主导，UxSID 把 SID 当作'兴趣分组锚点'，用语义压缩替代显式检索，省去了检索阶段的延迟和复杂度。对推荐排序团队的启示：当 SID 已经在召回/生成式推荐链路落地后，可顺势用 SID 桥接超长序列建模，把不同模块复用的语义空间统一起来，降低系统复杂度。
1. 问题与动机
工业推荐系统中，活跃用户每周可产生约 10,000 条交互，超长行为序列建模因此成为提升 CTR/CVR 的关键资源。然而传统 attention-based DIN/DIEN 因为 O(n²) 复杂度只能截到 n=100 左右；SIM/ETA/TWIN 路线把它当作'对目标 item 做检索 (Top-K)'问题，引入选择偏置——离散语义相关但 retrieval 没召回的远端 item 会被忽略，TWIN 在 KuaiRec-Big 上 AUC 0.8269 但随序列变长收益减缓；item-agnostic 压缩路线 C-Former、MIMN、LURM 把整段序列压缩成固定数量的兴趣向量，相当于'低通滤波'，丢掉了 target-specific 的偏好峰，C-Former 在同数据集 0.8276。论文在 XLong 数据集做了更尖锐的对照：C-Former 0.8135、TWIN 0.8154，而 UxSID 拿到 0.8408，差距 2.5–2.7pp 是非常显著的工业级提升。这一 motivation 实际暗示了第三条道路：既不做 item-level 检索 (避免选择偏置和检索延迟)，也不做完全 item-agnostic 压缩 (避免 target 信号被滤掉)。
2. 方法详解
UxSID 的核心思想是用 Semantic IDs (SIDs) 把'语义相近的 item 聚合成共享兴趣组'，再用双层注意力捕捉 target-aware 偏好。具体由两阶段组成：
(a) SID 构造：用一个 MLLM (论文沿用 Kuaishou 自研 QARM V2 体系) 把每个 item 的多模态属性编码为 z_i ∈ R^d，然后用 Res-KmeansFSQ 做层级量化，公开数据集 codebook shape 是 256×256×256×256 (M=4 层)，工业版本第一层 codebook 大小 4096，embedding 维度 32。只取第一层量化结果 k_1 作为 target SID，作者解释这是 granularity vs. latency 的折中。每个 item 因此都有一个紧凑的 SID 表示，而'共享同一 SID 的 item 群'天然形成语义兴趣组。
(b) 双层注意力：
Stage 1 (Item-Agnostic Interest Compression, IAIC)：把原始长序列 B=[b_1,…,b_L] 压缩成 K=16 个可学习的 interest anchors P ∈ R^{K×d}。Cross-attention 公式为 H = Softmax((Q_anc W^Q)(E W^K)^T/√d)(E W^V)。每个 anchor 后接 anchor-specific PFFN (per-token FFN，权重不共享) 防止表示坍塌：p_k = LN(h_k + σ(h_k W_1^(k))W_2^(k))。再加正交损失 L_ortho = ||PP^T/||P||_2² − I||_F，强约束 16 个 anchor 彼此分散。
Stage 2 (Hierarchical Semantic Probing)：用 target SID c_target 引导分两步探测：
- 显式全局探测：e_global = Softmax((c_target W_g^Q)(E W_g^K)^T/√d)(E W_g^V)，直接从原始 ultra-long 序列里抽 target-related 细粒度信号；
- 门控隐式探测：先用一个 2 层 sigmoid MLP 得 g_ctx = σ(GatedNet(e_global))，再 q_ref = c_target ⊙ g_ctx (Hadamard) 形成 refined query，最后 e_local = Softmax((q_ref W_l^Q)(P W_l^K)^T/√d)(P W_l^V) 在 16 个 anchor 上探测。
最终拼接 E^UxSID = [e_global; e_local]，作为一个 2×d=2×32 的 embedding 接入排序模型：p(x) = σ(MLP(E^t; E^u; E^c; E^short; E^UxSID))。损失是 BCE + λ·L_ortho。优化器 Adam，lr=0.001，batch=256，公开数据集用 NVIDIA L20，工业 1k 序列 16 张 A10，10k 序列 40 张 A10。
值得强调的两点设计：(i) 把 stage 1 设计成 item-agnostic 但加强 anchor 多样性，stage 2 才引入 target 信号，保留了'压缩 + 探测'的两段式分工；(ii) gated probing 用 stage 1 的全局上下文调制 target SID，避免直接拿 SID 当 query 在压缩后的 anchor 上做盲探。
3. 核心技术贡献
(1) SID-guided 压缩 + 双层 attention 第三条路径：跳出了 SIM/TWIN 检索 vs. C-Former 静态压缩的二元对立。Ablation 显示把 SID 换成 category tag 后 XLong AUC 从 0.8408 掉到 0.8605→0.8205 区段，Interest Recall@50 从 0.1488 降到 0.0543，确认了 SID 的语义聚合作用是核心。
(2) Dual-stage 探测拆分：去掉 e_global 后 KuaiRec-Big AUC 从 0.8348 降到 0.8302 (-0.0046)、XLong 从 0.8408 降到 0.8370；去掉 e_local 后两数据集分别 -0.0034 / -0.0033。两个分支同等重要，说明全局精细信号 + anchor-level 精探测真是互补。
(3) 门控 refined probing：去掉 gate 后 XLong AUC 降 0.0032，验证'用全局上下文调制 target SID' 比裸 SID query 显著更好。
(4) 正交锚点：L_ortho 让 16 个 anchor 保持独立兴趣方向，去掉后 XLong AUC -0.0023，从工业实战看这是个低成本但稳定收益的项。
4. 实验结果分析
公开数据 (Table 1)：UxSID 在 XLong/KuaiRec-Big 两个 ultra-long 数据集相对最强基线 TWIN、C-Former 都拉开 0.7–2.7pp AUC。
工业数据 (Table 2)：在 Kuaishou 广告 CTR 任务上 AUC 0.8728 (vs. TWIN 0.8712，+0.16pp)，CTCVR AUC 0.8626 (vs. TWIN 0.8609，+0.17pp)。AUC 的工业基线本就很高，0.16pp 在 Kuaishou 这个量级是有意义的。
在线 A/B (Table 3，Kuaishou 广告 7 天 10% 流量)：曝光 +0.111%，cost +0.231%，revenue +0.337%。Revenue 远超曝光增幅说明精准度在提升——同样的曝光带来更高转化效率。
序列长度 scaling (Figure 3)：UxSID 在 1k→10k 长度上 AUC 单调上升且不收敛，TWIN/SIM 在 2k 之后基本 plateau，C-Former 在长序列上变得不稳定。这是 SID 路线相对 retrieval/compress 路线的关键优势。
健壮性 (Table 7)：3 个 seed 下 KuaiRec-Big AUC 0.8348±0.0001、XLong 0.8415±0.0023，标准差很小。
特征注入对照 (Table 8)：单纯给 TWIN 加上 SID 特征只能提升到 0.8296，仍输 UxSID 的 0.8348，说明收益来自架构而非特征加固。
5. 局限与未来方向
论文没有显式 limitations section，但从工程视角可以总结：(1) 需要先训好 RQ-VAE 风格的多层 codebook (Res-KmeansFSQ)，对 SID 还没成熟的团队是一次性投入；(2) 工业部署需要 ~2.56 TB ES 容量做 UID⊗SID hash 的 embedding cache (Kuaishou ~400M 用户 ×100 SID/用户)，对中小厂可能不容忽视；(3) 论文只取第一层 SID (k_1)，更细粒度的 k_2, k_3 是否能带来额外信息没有实验；(4) 评估场景集中在短视频与电商 CTR，对长视频/音乐/资讯类是否同样有效未知；(5) anchor K=16 是经验最优，λ 也需要按数据集调，迁移到新业务可能要再调参。
6. 工业实践意义
UxSID 给搜推团队最具操作性的一条建议是：当你已经在召回或生成式推荐链路落地了 SID/RQ-VAE codebook (如 TIGER、KUNLUN、HSTU、QARM 体系)，就可以顺势把它当作'第三种超长行为序列建模工具'，避免每条链路各自重训一套语义空间。线上推理上 UxSID 设计了 O(1) hash table 方案——Key=Hash(UID⊕SID)、Value 是预算好的 2×32 embedding，缓存到 Embedding Server，主排序模型只在最后做轻量 attention，论文报告增加约 0.16ms 延迟，几乎可忽略。重的 O(n²) 注意力被 offload 到离线 batch (1k 序列 16 张 A10、10k 序列 40 张 A10，每周刷新一次)，这种 '离线生产兴趣表征 + 在线轻量查表' 模式对很多 RTP/特征平台都成熟可复用。
落地建议：先把 SID 训出来 (利用现有 MLLM 物料信息和 RQ 量化)，然后用 UxSID 框架替换或并联现有 SIM/TWIN 模块。先 16 个 anchor、第一层 SID 这套默认配置跑一遍，观察 CTR/AUC，再考虑加 k_2 探测或更大 anchor 数量。对 UGC/短视频社区，物料语义信息天然丰富 (封面、首帧、标题、tag)，SID 训练比纯 ID 类 ID 场景容易出效果；广告 0.337% revenue lift 在内容场景往往会对应更大的人均时长/留存提升。
BUAA
Baidu
KAIST
USTC
NUS
Huawei