TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems

TokenMinds 深度解读

1. 问题与动机

工业推荐系统的用户建模长期依赖固定维度的稠密 embedding，作者指出其根本缺陷是"固定维度向量带来的表达约束"——容量有限、难以承载丰富的语义层次。近期一种替代方案是用 LLM 生成文本型用户画像 token，但它只捕捉话题层面的共现关系，无法刻画深层的序列行为动态，且生成的文本难以对齐（ground）到具体的物品属性。与此同时，基于 Semantic ID (SID) 的物品 tokenization 已在生成式推荐中证明能提升泛化，但用户侧的离散 SID 表征几乎无人探索。TokenMinds 正是填补这一空白：把已在物品检索中验证的 PLUM 框架迁移到用户建模，论证"离散 SID 用户 token"在工业排序中是可行且有价值的，并通过统一长视频(LFV)/短视频(SFV)行为来降低多场景的训练与服务成本。

2. 方法详解

TokenMinds 采用 encoder-decoder seq2seq 架构：370M 参数的 MoE encoder + 370M 参数的 dense decoder，均由 PLUM 框架的 CPT(Continued Pre-Training) 检查点初始化。物品(视频)先用 RQ-VAE 编码为 L_full=8 层的层次化离散码字；用户建模时只取前 L 级前缀码(实验中 L=4)做粗粒度表征。Decoder 通过对 encoder 输出的 cross-attention 自回归生成 SID token，用 beam search 产出 B=40 条 SID 序列(LFV/SFV 各 20)。

训练损失(Eq.1)对 decoder 最小化 −∑ r(W_i)·∑_j log P(SID_{i,j} | 历史, 目标, 已生成前缀)，其中 r(W_i) 是基于互动的奖励加权；encoder 仅通过 cross-attention 梯度间接受监督。两个关键设计：(a) look-ahead 采样——不预测"下一个观看"，而是从未来 24 小时窗口随机选最多 N=15 个目标；(b) 多目标同时预测提升训练效率。输入侧把 hard token(分桶稠密特征/类别特征)与 soft token(独立 embedding 经 MLP 投影为 M 个，生产中 M=1)拼接，并用 \<Search\> token 把 S=10 条搜索 query 与观看序列交错，用 \<LFV\>/\<SFV\> condition token 区分场景，实现跨场景统一建模。最大输入 1024 token(约 1200 次观看+10 query)。稠密 embedding 由 encoder 输出做 last-token 或 mean pooling 得到 1152 维。框架基于内部 JAX + Pathways，按天持续训练(每日百万级样本)，batch size 以 8K 为锚点(并探索 4K/16K)。

3. 核心技术贡献

(1) 双输出架构：单模型同时产出稠密连续 embedding 与离散 SID token，前者保证与既有稠密精排模型无缝兼容，后者带来语义对齐与可解释——二者在下游被验证为互补而非替代。(2) 用户侧 SID tokenization 及下游适配：首次系统研究"离散用户 token"如何接入排序模型，比较了 Learnable Embedding(LE) 与 Prefix Embedding Mapping 等适配策略，发现 LE 适配收益最佳。(3) 跨场景统一建模：用共享 SID 词表 + multi-context decoding 把 LFV 与 SFV 合进一个模型，相比两个独立模型大幅压缩上游算力。(4) 工业级落地：在 YouTube 多个生产排序系统、面向数十亿用户全量上线，并配套异步服务基础设施。

4. 实验结果分析

离线：消融(Table 1, Recall@10)显示 SID 截断(prefix-L)最关键——去掉它 Session/Cold-Start 分别掉 −15.1%/−17.1%；去掉多目标掉 −8.9%/−3.3%，去掉 look-ahead 掉 −4.5%/−10.0%(冷启动尤其依赖 look-ahead)。初始化与搜索信号(Table 2)：CPT + 搜索 query 相比随机初始化提升 +23.5%(session)/+31.5%(cold-start)，可见 CPT 预训练与引入搜索行为都贡献显著。

在线 A/B(Table 4, 生产排序)：在 SFV 主场景，Embed-only 几乎无收益(Engaged Users 0.00% / Satisfied Engagement +0.05%)，Token-only 提升至 +0.04%/+0.40%，而 Embed+Token 双输出最优，达 +0.11%/+0.62%；LFV 场景收益较小(+0.02%/+0.08%)。这印证了双输出的互补价值。成本(Table 5)：下游集成带来训练成本 +3.05%、训练速度 −4.2%、服务峰值 QPS −7.4%。跨场景(Table 6)：统一模型相对 LFV-only 在 Fresh Engagement 上提升明显(SFV +0.33%/LFV +0.19%)，且相比两套独立模型上游训练算力 −50%、上游服务算力 −31%。Scaling：输入长度在约 1K 次观看后 Recall 饱和、2K 对 SFV 反而退化；batch 16K 相比 4K 提升 +7.6%/+13.7%(SFV/LFV)。

5. 局限与未来方向

论文没有专门的局限性章节(作者未显式列出 limitations)。从实验本身可观察到几点：其一，在线绝对增益偏小(主场景 Satisfied Engagement +0.62%、多数指标在 0.1% 量级)，符合成熟工业系统的边际特征，但也说明离散 token 的增量主要体现在长尾/冷启动与新鲜度；其二，输入长度超过 ~1K 观看即饱和甚至退化，长序列利用率受限；其三，方法强依赖 PLUM 的 CPT 检查点与 RQ-VAE 物品 SID 体系，迁移到没有成熟 SID 基建的团队成本高；其四，SID 前缀粒度(L=4)、刷新周期(24h)等是经验取值，缺乏对实时性敏感场景的讨论。

6. 工业实践意义

对搜推从业者，最可借鉴的是"离散 token + 稠密 embedding 双表征"的工程范式：不要把用户表征做成二选一，离散 token 补语义与可解释、稠密向量保兼容，二者拼接即可在既有精排上拿到稳定增益。其次是异步服务架构(UBS)的成本控制思路——把重模型的表征生成与实时打分解耦，离线生成后缓存(每用户 1152B embed + 1280B token)，24h 刷新，实测 cache 命中率 96.4%(1.44M 次读/秒)、单用户推理 339ms 但被后台完全吸收，使实时打分延迟/成本与表征模型复杂度脱钩；token 表征相对纯稠密 embedding 存储下降 72%。第三，用共享 SID 统一长/短内容能省一半上游训练算力，对多业务线团队是直接的降本路径。落地提醒：该方案是"重投入"型，需要 RQ-VAE 物品 tokenization 与预训练检查点作为前置，更适合已有生成式推荐基建的大平台；中小团队可先借鉴其 look-ahead 多目标采样与"搜索行为交错进观看序列"两个低成本技巧。