A Unified Language Model for Large Scale Search, Recommendation, and Reasoning
Spotify📖 有深读 · 7 分钟Spotify 提出 NEO 框架，将预训练 decoder-only LLM 适配为无工具依赖的、目录锚定的统一搜索/推荐/推理生成器。NEO 使用 Semantic ID (SID) 表示物品，通过单一模型同时支持检索、推荐和推理三种行为，避免了工具编排的复杂性。系统能处理多类型实体和异构目录，在严格延迟约束下运行。
INSIGHTNEO 提出了一个关键洞察：搜索、推荐和推理可以在同一 LLM 内统一建模，而无需外部工具链。通过 SID 表示将 LLM 生成锚定在真实目录中，实现了端到端优化。这为社区搜索系统提供了重要启示——未来可以用单一模型同时覆盖 query 理解、内容推荐和推理解释，减少多模块级联的延迟和维护成本。
1. 问题与动机
现有大规模发现系统（搜索 + 推荐）通常维护独立的技术栈，导致「重复建模、目标碎片化和大量运维开销」。虽然 LLM 提供了天然的统一抽象，但在大规模异构目录上部署单一端到端模型面临四大挑战：纯文本 item 引用存在歧义和不稳定性、embedding 序列需要架构变更且难以处理长历史、工具增强方案引入编排复杂度和延迟、传统生成式推荐无法在生成中交织语言和 item 引用。
NEO 聚焦于一个实际问题：如何让 LLM 在超千万异构目录上，以无工具、语言可操控的方式，同时支持推荐、检索和文本生成——且保持 LLM 原有的语言能力不退化。
2. 方法详解
NEO 将预训练 decoder-only LLM 适配为「无工具、目录锚定的生成器」，生成自然语言与类型化 item 标识交织的序列。框架包含三个训练阶段。
Semantic ID 构建：对每种 item 类型独立构建 SID 词表。配置为 M=4 codebook，K 值因类型而异（audiobook/episode/show 使用 K=256，artist 使用 K=1024）。使用 Qwen3 8B 编码器生成 embedding，通过 Matryoshka 属性降至 1024 维后进行残差量化。SID 以 [SID]⟨c₁...c₄⟩[/SID] 格式嵌入文本序列中，总共向词表添加 7170 个 token。层次化结构使早期 code 捕获粗粒度语义区域，后续 code 逐步细化区分度。
Stage 2 — 领域锚定：通过三个互补目标将 SID 与语言空间对齐：（1）SID→文本（verbalization）：从 SID 预测自然语言描述；（2）文本→SID（锚定检索）：从 query 预测 SID；（3）SID→类型（类型消歧）：从 SID 预测 item 类型。训练约 500 万样本。关键设计：冻结预训练骨架参数，仅优化新 SID token 的输入 embedding 和输出权重，防止灾难性遗忘。
Stage 3 — 能力诱导：在 1000 万样本上进行多任务指令调优，覆盖四个任务族：next-item 推荐（预测下一个消费的 item SID）、文本检索（从 query 生成最相关 SID）、锚定混合生成（输出 SID + 自然语言解释）、用户理解（从 SID 历史生成用户兴趣描述）。使用 20 种 prompt 模板随机组合增加多样性。Stage 3 解冻骨架（或使用 PEFT）。
受约束解码：预计算合法 SID 序列的前缀 trie，仅在 [SID]...[/SID] 区间内施加 trie-based masking。模型在 98% 的情况下自行生成合法 SID，约束解码开销极小但提供了推理时灵活性（如限制只推荐新内容）。SID 碰撞通过基于热度的确定性启发式解决。
训练数据合成：用户兴趣画像由 32B 更强 LLM 从文本 item 描述蒸馏生成；推荐+解释数据通过 LLM prompt 生成「为什么 t+1 的 item 匹配先前兴趣」的解释，再将文本 item 提及替换为 SID。
3. 核心技术贡献
- 类型化混合序列接口：首个同时支持离散 item 指针、混合文本+item 输出、用户行为输入和语言可控行为的单模型框架（Table 1 系统对比）。与传统生成式推荐（如 HSTU、P5）相比，NEO 不需要工具调用即可生成目录锚定的 item 引用和自然语言解释。
- 三阶段对齐方案的必要性验证：移除 Domain Grounding 导致检索 HR@10 下降 6-7%、NDCG 下降 8%；合并阶段降幅扩大到 8-10%。随机初始化 SID embedding（不做语义量化）导致 44% 的灾难性下降。
- 语言能力保持分析：对比 Continuous Pretraining (CPT) 方案，虽然 CPT 推荐性能仅下降 3%，但 MMLU-Redux 从 0.46 暴跌至 0.03，几乎完全丧失语言能力。NEO 的分阶段冻结策略有效保持了两种能力。
- 骨架无关性验证：在 Qwen3-0.6B 和 Llama 3.2 1B 上均验证有效，Llama 在 Domain Grounding 阶段的文本检索上提升约 18%。
4. 实验结果分析
评估规模：超千万 item（episode、show、audiobook、artist）、约 1500 万用户、全局时序评估协议。
消融实验关键数据（Table 2）：
| 方法 | Δ HR@10 |
|---|---|
| Atomic IDs（非语义） | -59.7% |
| LSH 量化器 | -51.2% |
| 协同过滤 embedding | -25.6% |
| 无增强数据 | -2.9% |
语义结构是关键：非语义 Atomic ID 直接损失近 60%；数据无关的 LSH 哈希也损失 51%。协同过滤 embedding 比内容 embedding 差 25.6%，主要因为时序不稳定性。
受约束解码分析（Table 3）：无约束 beam search 仅损失 1.8% HR@10；top-p 采样损失 22%，说明 beam search 是必要的。Trie 约束延迟开销约 3%。
阶段对比（Table 4）：完整三阶段 > 跳过 Domain Grounding（-6~8%）> 合并为两阶段（-8~10%）> 随机初始化（-44%）。CPT 方案推荐仅降 3% 但语言能力归零。
5. 局限与未来方向
论文明确的局限：（1）仅评估单轮交互，多轮对话留待未来；（2）Stage 3 优先覆盖任务广度而非单任务深度优化；（3）未进行 Stage 4（任务特定微调和强化学习）分析；（4）混合文本-SID 生成任务缺少 baseline 对比（该任务完全新颖）；（5）性能对内容元数据质量敏感（原始元数据导致 2.9% 下降）。
6. 工业实践意义
- 统一架构降低系统复杂度：NEO 证明单一 LLM 可以同时处理搜索、推荐和推理，消除了多栈维护的运维负担。对社区搜索系统而言，这意味着可以用一个模型覆盖 query 理解、内容推荐和结果解释，显著简化系统架构。
- SID 设计的实践指导：（a）内容 embedding 优于 CF embedding（稳定性更好）；（b）R-KMeans 足以满足需求，不必追求更复杂的学习型量化器；（c）M=4, K=256/1024 的配置在千万级目录上可行。
- 语言能力保持至关重要：CPT 方案虽然推荐性能几乎无损，但语言能力的丧失使其无法生成解释或处理文本检索。分阶段冻结策略是保持双能力的关键。
- 冷启动友好：通过内容 embedding 构建 SID，新 item 无需交互数据即可被推荐。这对 UGC 社区中快速增长的新内容推荐尤为重要。
- 部署考量：0.6B~1B 参数级别的模型在延迟约束下可行；受约束解码开销极小（~3%）；数据合成策略（从强 LLM 蒸馏解释数据）降低了标注成本。
NVIDIA