← 全部深度解读
📖 深度解读 · PERSONALIZATION

SID-Coord: Coordinating Semantic IDs for ID-based Ranking in Short-Video Search

Guowen Li, Yuepeng Zhang, Shunyu Zhang, Yi Zhang, Xiaoze Jiang, Yi Wang, Jingwei Zhuo · Kuaishou · arXiv 2604.10471 · 发表 2026-04-14
6 分钟阅读时长 2248字 4.40综合分 第 1 名04-15 Personalization 日报
目录 · 6 节1问题与动机2方法详解3核心技术贡献4实验结果分析5局限与未来方向6工业实践意义
相关 5新颖 4实用 4证据 4时效 5
SID-Coord 的核心创新在于不替换原有 HID 体系,而是以轻量级 add-on 方式将语义 ID 融入已有排序模型,同时通过协调损失避免语义信号与行为信号的冲突。这对 UGC 搜索排序有直接借鉴价值:长尾内容(新帖子、冷门话题)可通过语义 ID 获得合理的初始排序,而热门内容仍由行为 ID 主导,实现冷热内容排序的平滑过渡。

1. 问题与动机

工业级短视频搜索排序系统通常依赖基于哈希 item ID (HID) 的稀疏模型,通过大规模用户-item 共现信号训练。这类模型在高频 item 上表现优秀,但在长尾 item(曝光少、交互稀疏)上泛化能力严重不足——这是搜索推荐系统长期存在的 memorization-generalization 权衡问题。现有的语义增强方案(如 MOON、MUSE、DMF)通过稠密语义 embedding 缓解该问题,但引入额外的 serving 开销,且与 ID-based 架构缺乏紧密集成。此前的语义 ID 工作将 SID 作为静态 item 特征,未利用层级结构,也未根据 item 热度自适应调整。快手搜索团队提出 SID-Coord,目标是在不改变现有排序架构的前提下,以轻量级方式引入语义泛化能力。

2. 方法详解

SID-Coord 包含三个核心组件:

多分辨率语义 ID 建模:通过残差量化(RQ-KMeans)为每个 item 生成三级语义 ID {s^(1), s^(2), s^(3)},每级来自 8192 大小的码本。相邻层级通过基数-B 构造(B=10000)组合为复合 ID:s^(1,2) = B*s^(1) + s^(2),保留层级局部性。五个表征 {s^(1), s^(2), s^(3), s^(1,2), s^(2,3)} 各自映射为 embedding,再通过注意力机制学习自适应权重融合为最终语义表征。这一设计的关键在于避免了 N-gram 方法的参数爆炸,同时支持粗粒度到细粒度的语义抽象。

目标感知的 HID-SID 门控:对目标 item,分别获取 HID embedding e_v^hid 和 SID embedding e_v^sid,通过两层 MLP 基于 item 热度信号(曝光量、点击量、点赞量、分享量、评论量)计算门控权重 g 属于 [0,1]:e_v^shid = ge_v^hid + (1-g)e_v^sid。g 随 item 热度增加而增大,即热门 item 更依赖行为记忆(HID),长尾 item 更依赖语义泛化(SID)。

用户-Item 语义对齐:计算候选 item 的 SID embedding 与用户历史行为序列中各 item 的 SID embedding 的余弦相似度分布,通过 AutoDis 将相似度转为分布感知表征,提取 max-pooling(最强匹配)和 avg-pooling(整体一致性)特征,输入排序主干模型。训练在快手已有的排序目标(AUC 优化)下端到端进行,无需额外损失函数。SID 生成采用 RQ-KMeans(三级码本各 8192),训练数据约 45 亿样本,测试集 1.3 亿样本。

3. 核心技术贡献

贡献一:基数构造的层级 SID 组合。与 N-gram 方法(所有层级组合)相比,仅组合相邻层级,参数量从 O(K^N) 降至 O(N*K^2),同时保持了从粗到细的语义分辨率。实验表明该组件对 AUC 贡献最大(消融 -0.22%),说明多分辨率语义对长尾 item 至关重要。

贡献二:热度感知的自适应门控。不同于固定权重融合或简单拼接,门控基于 item 的实际热度信号动态调整 HID vs SID 的权重。这解决了一个工程实践中的核心矛盾:对头部 item 用语义替代行为信号会损失记忆精度,对尾部 item 用行为信号则因稀疏导致噪声大。

贡献三:分布级语义对齐。不是简单的 user-item 语义相似度分数,而是将用户历史与候选 item 的相似度分布作为特征,提供更丰富的匹配模式("是否存在强匹配" vs "整体兴趣一致性"),消融实验显示该组件贡献 -0.16% AUC。

4. 实验结果分析

离线实验基于快手搜索排序的真实日志:

模型Overall AUCOverall UAUCLong-tail AUCLong-tail UAUC
Production Baseline0.76830.60910.76910.5951
Prefix-Ngram0.76880.60960.76980.5962
Ngram0.76950.61000.77060.5961
SPM-SID0.77000.61010.77110.5974
DAS0.76930.61110.77050.5983
SID-Coord0.77080.61580.77230.6045

SID-Coord 在所有指标上均为最优,长尾 UAUC 提升 +0.93%(相对)。消融实验:多分辨率 SID 贡献最大(-0.22% AUC),门控机制 -0.13%,语义对齐 -0.16%。

线上 A/B 测试:观看时长 +0.369%,播放次数 +0.472%,长播放率 +0.664%(+0.226pp),搜索延迟无显著增加。所有提升均统计显著。论文发表于 SIGIR 2026。

5. 局限与未来方向

论文未显式陈述局限。隐含约束:(1) 门控依赖热度信号,完全新 item 退化为纯 SID 模式;(2) SID 基于离线 RQ-KMeans 生成,码本更新频率影响新内容语义质量;(3) 仅在快手搜索验证,跨平台泛化性未知。

6. 工业实践意义

可直接借鉴的设计:不替换现有 ID 体系,以 add-on 方式引入语义信号,工程改造成本低。对于 UGC 社区搜索,大量新帖子和冷门话题正是排序质量的痛点,SID-Coord 提供了渐进式引入语义泛化的可行路径。

热度感知门控:热门 item 用行为 ID、冷门 item 用语义 ID 的动态权衡,可推广到 query 理解(高频 query vs 长尾 query 的差异化建模)。

零额外延迟:SID 作为 embedding 特征输入排序模型,无需额外 dense retrieval 或 reranking,适合延迟敏感场景。部署成本低,适合中小型搜索团队快速落地。

← 全部深度解读 出现于报告:2026-04-15 · Personalization #1 (4.40) 原文 ↗