Learning Variable-Length Tokenization for Generative Recommendation
生成式推荐把推荐重写为对离散 Semantic ID 的 next-token 预测,但已有方法都用“定长 tokenization”给所有 item 编码,隐含假设了统一的编码容量。作者在 4 个数据集上系统实验,发现“流行度-长度悖论 (Popularity-Length Paradox)”:热门 item 用短 ID 就能达到最优,长尾 item 则需要明显更长的 code 才能刻画区分性语义。原因是热门 item 有充足协同信号、不需要太多语义细节,长尾 item 因交互稀疏必须依赖细粒度内容特征。据此提出 VarLenRec,为不同 item 学习可变长度的 Semantic ID。
INSIGHT把“定长 ID 给所有 item”这一被忽视的默认设计点拆开,是对 Semantic ID 范式的一个真问题修正:对长尾内容(社区 UGC 场景里占绝大多数)给更长 code、对头部内容给短 code,本质是把编码预算按信息量分配。对做生成式检索/推荐的团队,这意味着 tokenizer 设计要和 item 流行度分布耦合,而不是统一码本长度——这对短文本、长尾密集的 UGC 召回尤其有参考价值。