Quantizing Intent: Cross-Domain Semantic IDs from Organic Activity for Industrial Ranking
针对广告 CTR 预估中用户监督稀疏(多数用户极少点广告、却在 feed 等自然流量上有稠密行为),作者从自然流量行为构造跨域用户 Semantic ID(SID)注入广告排序。实验显示行为信息越丰富迁移越好:用户画像文本 SID 带来 +0.036% AUC、activity-tuned LLaMA 用户 embedding SID +0.107%、直接来自 feed 行为 embedding 的 SID +0.213%。并提出 RQ-FSQ(残差有限标量量化)离散化预训练 embedding,在显著更小存储下匹配稠密 embedding 的 AUC。
INSIGHT把跨域稠密行为压成离散 SID 注入目标域排序,是把“生成式 Semantic ID”当作特征工程的工业范式。行为信号源越接近原始行为(feed 行为 embedding > LLaMA 用户向量 > 画像文本),迁移收益越大——提示社区搜推应优先用原始行为序列而非二手画像文本构造 SID。RQ-FSQ 的“存储换精度近乎免费”对线上特征存储成本敏感的系统尤其实用。