Alibaba
Zhejiang University02 4.00
Rethinking Generative Recommender Tokenizer: Recsys-Native Encoding and Semantic Quantization Beyond LLMs
现有 Semantic ID 推荐方法大多沿用语义中心流水线——从基础模型学习 embedding 再用通用量化离散化，但这种设计与生成式推荐目标存在错位：语义 embedding 与协同预测弱耦合，通用量化在减少序列不确定性方面效率低下。本文提出 ReSID，包含两个核心组件：(1) Field-Aware Masked Auto-Encoding (FAMAE)，从结构化特征学习预测充分的物品表示；(2) Globally Aligned Orthogonal Quantization (GAOQ)，通过联合减少语义歧义和前缀条件不确定性生成紧凑可预测的 SID 序列。代码已在 GitHub 开源。
INSIGHTReSID 的关键洞察是：生成式推荐的 tokenizer 不应简单搬用 NLP/CV 领域的通用量化方案，而应从推荐系统原生视角设计——关注信息保留和序列可预测性。FAMAE 利用结构化特征（而非通用语义模型）学习与推荐任务对齐的表示，GAOQ 则在量化阶段同时优化语义清晰度和自回归可预测性。这为搜索推荐系统中的 item tokenization 提供了一条不依赖大语言模型的高效路径。
Yu Liang, Zhongjin Zhang, Yuxuan Zhu, Kerui Zhang, Zhiluohan Guo
arXiv·2026-02-02·Relevance 4 · Novelty 4 · Practical 4 · Evidence 3 · Timely 3