OneLatent: Latent Reasoning for Efficient Foundation Recommendation Models
把大语言模型当作推荐底座时,让模型先写一段自然语言推理再输出下一个物品的语义编码,推理文本比语义编码长得多,解码时间和吞吐都被它拖住。OneLatent 的做法是在用户上下文后面接 3 个固定的特殊 token,训练分几步:先让模型在这些 token 之后复现教师大模型写的推理文本,再改成在它们之后直接输出目标语义编码;上线时只接这些 token,不生成任何推理文字。在工业数据上,OneLatent 前 64 个候选的语义编码命中率比先写推理再作答高 17.44%,推理吞吐是显式推理的 17.49 倍。