Stop Treating Collisions Equally: Qualification-Aware Semantic ID Learning for Recommendation at Industrial Scale
提出资格感知的 Semantic ID 学习框架,区分性处理推荐系统中 token 空间的碰撞问题。
INSIGHTSemantic ID 的碰撞并非都是有害的——有些碰撞反映了语义相似性,应当被保留。QAS-SID 通过资格打分区分「有害碰撞」和「合理碰撞」,从而在工业级规模下显著提升 item 表征质量。这对于 UGC 内容理解和 item embedding 质量改进具有直接参考价值。
业务关联社区搜索中大量 UGC 内容需要高效的 item 表征。Semantic ID 的碰撞问题直接影响排序模型区分相似内容的能力。资格感知学习框架可应用于 UGC 内容的离散化表征,提升检索和排序的区分度。
证据在快手工业级推荐场景部署验证。论文详细对比了有害碰撞与合理碰撞的比例和影响,在大规模在线实验中验证了资格感知策略的效果。