1. 问题与动机
工业级短视频搜索排序系统通常依赖基于哈希 item ID (HID) 的稀疏模型,通过大规模用户-item 共现信号训练。这类模型在高频 item 上表现优秀,但在长尾 item(曝光少、交互稀疏)上泛化能力严重不足——这是搜索推荐系统长期存在的 memorization-generalization 权衡问题。现有的语义增强方案(如 MOON、MUSE、DMF)通过稠密语义 embedding 缓解该问题,但引入额外的 serving 开销,且与 ID-based 架构缺乏紧密集成。此前的语义 ID 工作将 SID 作为静态 item 特征,未利用层级结构,也未根据 item 热度自适应调整。快手搜索团队提出 SID-Coord,目标是在不改变现有排序架构的前提下,以轻量级方式引入语义泛化能力。
2. 方法详解
SID-Coord 包含三个核心组件:
多分辨率语义 ID 建模:通过残差量化(RQ-KMeans)为每个 item 生成三级语义 ID {s^(1), s^(2), s^(3)},每级来自 8192 大小的码本。相邻层级通过基数-B 构造(B=10000)组合为复合 ID:s^(1,2) = B*s^(1) + s^(2),保留层级局部性。五个表征 {s^(1), s^(2), s^(3), s^(1,2), s^(2,3)} 各自映射为 embedding,再通过注意力机制学习自适应权重融合为最终语义表征。这一设计的关键在于避免了 N-gram 方法的参数爆炸,同时支持粗粒度到细粒度的语义抽象。
目标感知的 HID-SID 门控:对目标 item,分别获取 HID embedding e_v^hid 和 SID embedding e_v^sid,通过两层 MLP 基于 item 热度信号(曝光量、点击量、点赞量、分享量、评论量)计算门控权重 g 属于 [0,1]:e_v^shid = ge_v^hid + (1-g)e_v^sid。g 随 item 热度增加而增大,即热门 item 更依赖行为记忆(HID),长尾 item 更依赖语义泛化(SID)。
用户-Item 语义对齐:计算候选 item 的 SID embedding 与用户历史行为序列中各 item 的 SID embedding 的余弦相似度分布,通过 AutoDis 将相似度转为分布感知表征,提取 max-pooling(最强匹配)和 avg-pooling(整体一致性)特征,输入排序主干模型。训练在快手已有的排序目标(AUC 优化)下端到端进行,无需额外损失函数。SID 生成采用 RQ-KMeans(三级码本各 8192),训练数据约 45 亿样本,测试集 1.3 亿样本。
3. 核心技术贡献
贡献一:基数构造的层级 SID 组合。与 N-gram 方法(所有层级组合)相比,仅组合相邻层级,参数量从 O(K^N) 降至 O(N*K^2),同时保持了从粗到细的语义分辨率。实验表明该组件对 AUC 贡献最大(消融 -0.22%),说明多分辨率语义对长尾 item 至关重要。
贡献二:热度感知的自适应门控。不同于固定权重融合或简单拼接,门控基于 item 的实际热度信号动态调整 HID vs SID 的权重。这解决了一个工程实践中的核心矛盾:对头部 item 用语义替代行为信号会损失记忆精度,对尾部 item 用行为信号则因稀疏导致噪声大。
贡献三:分布级语义对齐。不是简单的 user-item 语义相似度分数,而是将用户历史与候选 item 的相似度分布作为特征,提供更丰富的匹配模式("是否存在强匹配" vs "整体兴趣一致性"),消融实验显示该组件贡献 -0.16% AUC。
4. 实验结果分析
离线实验基于快手搜索排序的真实日志:
| 模型 | Overall AUC | Overall UAUC | Long-tail AUC | Long-tail UAUC |
|---|---|---|---|---|
| Production Baseline | 0.7683 | 0.6091 | 0.7691 | 0.5951 |
| Prefix-Ngram | 0.7688 | 0.6096 | 0.7698 | 0.5962 |
| Ngram | 0.7695 | 0.6100 | 0.7706 | 0.5961 |
| SPM-SID | 0.7700 | 0.6101 | 0.7711 | 0.5974 |
| DAS | 0.7693 | 0.6111 | 0.7705 | 0.5983 |
| SID-Coord | 0.7708 | 0.6158 | 0.7723 | 0.6045 |
SID-Coord 在所有指标上均为最优,长尾 UAUC 提升 +0.93%(相对)。消融实验:多分辨率 SID 贡献最大(-0.22% AUC),门控机制 -0.13%,语义对齐 -0.16%。
线上 A/B 测试:观看时长 +0.369%,播放次数 +0.472%,长播放率 +0.664%(+0.226pp),搜索延迟无显著增加。所有提升均统计显著。论文发表于 SIGIR 2026。
5. 局限与未来方向
论文未显式陈述局限。隐含约束:(1) 门控依赖热度信号,完全新 item 退化为纯 SID 模式;(2) SID 基于离线 RQ-KMeans 生成,码本更新频率影响新内容语义质量;(3) 仅在快手搜索验证,跨平台泛化性未知。
6. 工业实践意义
可直接借鉴的设计:不替换现有 ID 体系,以 add-on 方式引入语义信号,工程改造成本低。对于 UGC 社区搜索,大量新帖子和冷门话题正是排序质量的痛点,SID-Coord 提供了渐进式引入语义泛化的可行路径。
热度感知门控:热门 item 用行为 ID、冷门 item 用语义 ID 的动态权衡,可推广到 query 理解(高频 query vs 长尾 query 的差异化建模)。
零额外延迟:SID 作为 embedding 特征输入排序模型,无需额外 dense retrieval 或 reranking,适合延迟敏感场景。部署成本低,适合中小型搜索团队快速落地。