Variable-Length Semantic IDs for Recommender Systems
针对 RQ-VAE 等定长 Semantic ID 在长尾/冷启动 item 上信息冗余而在热门 item 上又信息不足的问题,论文提出 VL-SID:用带 Gumbel-Softmax 重参数化的离散 VAE 学习「自适应长度」item 编码,让信息量大的 item 拿到更多 token、简单 item 用更少 token。框架避免 REINFORCE 式训练的不稳定性,可以无缝集成进 LLM 词表用于生成式推荐。实验显示 VL-SID 在长尾与冷启动 item 上召回与生成式推荐准确率显著优于定长 SID 基线,同时保留 full-softmax 训练效率。
INSIGHT把「编码长度」当作可学习自由度,是 Semantic ID 设计上的一次范式升级。对社区搜索 UGC 而言,帖子/问答 item 本身在信息密度上分布极不均匀(短评论 vs 高赞万字回答),定长编码必然损失头部信息或浪费尾部 token。借鉴 VL-SID 的思路,可在「item tokenizer」环节让 RQ-VAE 输出可变长度 SID 序列,配合生成式召回/排序,能把长尾 UGC 召回率与冷启动新帖曝光率同时打开。