Beyond Semantic IDs: Finite-Beam Reachability and Continuous-Query Generation in Generative Recommendation

1. 问题与动机

这篇论文研究生成式推荐的输出接口，而不是单纯提出更大的用户模型。TIGER 一类方法先把物品编码成短的 Semantic ID，再根据用户历史自回归生成编码，通过前缀树和有限宽度的 beam search 找到物品。物品拥有合法编码，只意味着它在表示空间中可被表达，并不保证它的前缀会被当前用户的搜索保留下来。作者因此区分“编码是否唯一”“给定用户目标是否进入有限列表”“全目录是否能够打分”“所有用户结果的并集覆盖多少目录物品”。这四项指标不能相互替代。

在 MovieLens-1M 的固定种子诊断中，TIGER 类模型的 Top-100 包含目标比例为 66.7%，但作者明确指出，不能把剩下的 33.3% 解释成目录中永远不能被检索的物品比例。目标条件的召回与目录并集覆盖是不同统计量。论文希望在共享物品表示和相同返回数量下，判断观察到的性能限制究竟来自离散输出、生成过程，还是训练目标与检索预算。

2. 方法详解

整个实验先建立一个冻结的协同物品空间。作者训练两层、两头、隐层宽度 64 的 SASRec，用时间顺序的下一物品样本及 BPR 损失学习物品表；每个正例配一个均匀负例，Adam 学习率为 0.001，批量 256。MovieLens 与 Beauty 最多训练 200 个 epoch，Sports 为 400；每五个 epoch 用全目录验证 NDCG@10 选择检查点。随后直接导出物品 lookup 参数，而不是上下文化用户隐藏状态。该表不再更新，并同时用于用户历史输入、连续查询的分类器或目标，以及最终检索索引。此设计尽量消除不同物品编码器带来的混杂。

CQG-Single 将历史中的 64 维物品向量投影到宽度 256，添加可学习位置表示，再进入四层、四头的 pre-norm 因果 Transformer；前馈维度 1024，dropout 为 0.1。取最后一个有效历史状态，线性投影回 64 维并作 L2 归一化，即得到查询。查询与归一化目录向量做点积，直接取最高分物品。主配置对全目录使用 softmax 交叉熵，而不是只回归到目标向量；Adam 学习率 0.001、批量 256，最多 50 个 epoch。论文另外比较 MSE 与批内 InfoNCE，因此读者应将主结果与这些不同目标的诊断实验分开。

CQG-AR 保留逐步自回归建模，却不生成离散编码。其 Transformer 为四层、六头、宽度 384，连续生成三个残差更新。每步残差回馈给下一步，累积查询加上残差后重新归一化；最终查询仍是同一个 64 维物品空间中的向量。主配置只在最终查询上施加全目录交叉熵，使用 Adam 学习率 0.0003、批量 1024、最多 30 个 epoch。含中间监督、权重 0.3 的深度消融是另一套受控配置，不能把其中结果当作主模型成绩。

损失可理解为：模型对所有目录物品给出查询点积分数，最大化真实下一物品在完整目录中的 softmax 概率。推理阶段屏蔽 padding 和已经出现过的历史物品，再返回相同数量的候选。实验采用留一法，最后交互用于测试、倒数第二个用于验证，其他用于训练；不是抽取少量随机负例的评测。MovieLens 历史长度为 50，Amazon 数据为 20。计算环境是一张 A800 80GB、14 个分配 CPU 核及约 120GB 主机内存，部分训练使用 bfloat16。这些配置可以支持复现实验规模，但没有证明工业目录下的成本。

3. 核心技术贡献

第一项贡献是把输出可达性定义为检查点与检索预算相关的诊断量。合法且几乎唯一的 ID，并不自动产生足够的目标支持；同时，扩大 beam 可以改变支持率，因此作者没有声称存在与预算无关的绝对上限。这种明确限定比把离散编码一概解释成“无法召回长尾”更有用。

第二项贡献是成对的连续输出对照。CQG-Single 同时去掉离散词表和串行解码，CQG-AR 只去掉离散词表而保留残差自回归；因此可以观察生成过程是否一定需要物品 token。连续输出让每个已编码物品都能被直接打分，也免去 code-to-item 映射，不过这不是首次发明稠密检索。作者自己将其定位为分析生成式推荐接口的最小对照。

第三项贡献是固定物品表征并匹配返回列表的比较。四层 CQG-Single 使用约 320 万可训练参数，对照离散模型约 578 万；比例为 55.3%。在 MovieLens 的七个下游种子中，Recall@10 的平均配对增量为 0.0107，95% 配对 t 区间为 [0.0021, 0.0193]。然而每组都共享一份固定 SASRec 导出，种子稳定性并不代表冻结表示预训练也在多种子下重复验证。

4. 实验结果分析

下表摘录正文主结果。MovieLens 的生成方法是种子 42–48 的平均值，Amazon 为种子 42–44；SASRec 为一个全目录检查点。它是论文内部复现协议的比较，不是对已发表 TIGER 原始成绩的全面超越声明。

CQG-Single 在 MovieLens 和 Beauty 的这组指标中领先，但 Sports 上 SASRec 的 0.0390 高于两个连续方法。CQG-AR 相比离散基线在 Sports 的 Recall@10 从 0.0236 增至 0.0355，即相对增幅约 50.4%，仍不超过 SASRec。这说明改进输出接口能解除一种搜索限制，却不能自动创造更好的协同表示与排名函数。

目标支持的变化也没有最终准确率变化那么大。MovieLens 的用户加权 TargetInOutput@100 是 TIGER 66.7%、CQG-Single 67.3%、CQG-AR 66.4%；不同目标物品类型在 Top-200 至少被命中一次的比例分别为 78.1%、78.9%、78.8%。因此不能把 Recall@10 的改善全部解释为“连续模型发现了大量此前不可达的物品”，列表内部排序同样可能重要。按流行度分组的 48 项比较中，单步方法有 38 项数值更高，但稀有物品的一些浅层截断点仍由离散模型占优。

深度消融使用种子 42 和中间损失权重 0.3。残差步数 1、2、3、4 时，Recall@10 分别为 0.2924、0.2909、0.2914、0.2944，NDCG@10 分别为 0.1719、0.1688、0.1667、0.1717；Recall@100 则为 0.6550、0.6525、0.6619、0.6697。更多步骤可以改变深层召回，却没有单调提升浅层排序，不能照搬语言模型推理步数越多越好的直觉。

论文另做更接近 T5/RQ-VAE 的 Beauty 复现，目录 Top-100 并集覆盖在稀有四分位仅 14.0%，热门四分位为 88.7%。作者也承认这份复现没有达到原实现的排名准确率，故应把它当作具体配置下的诊断证据。本文没有线上 A/B 或社区短文本搜索的真实 CTR/nDCG 改善数据。

5. 局限与未来方向

作者明确列出数项限制：主离散对照采用层级 K-Means，弱于已发表的 SID 系统；更近似原模型的 T5/RQ-VAE 复现也未匹配参考实现精度。扩大 beam 会明显增加目标支持，当前结论只适用于测试过的模型、搜索与算力配置。流行度分层结果是观察性分析，不能作为流行度本身导致漏召回的因果干预。

全目录交叉熵每次更新需要与目录规模成正比的打分成本，实验目录分别约为 3416、12101、10693 个物品，远小于工业 UGC 库。十亿目录训练、ANN 延迟与内存、索引更新成本和动态冷物品准确率均未测量。这些是作者明确保留的开放问题；“每个向量都可打分”不能等同于“每个新帖子都能被有效推荐”。另一个实践限制是主空间来自纯协同 SASRec，没有正文语义编码器，迁移到社区短文本时必须重新评估冷启动和语义查询。

6. 工业实践意义

对社区帖子、问答和评论搜索，这项工作首先提供评测拆解方法。除了常规 nDCG 和 CTR，记录正确目标是否进入候选列表、不同流行度分层的召回、所有查询结果并集的目录覆盖，并确保不同方法采用相同返回数量和历史过滤。否则，扩大候选池或换用更强物品表征会被误记为生成范式收益。

可落地的试验是保留现有语义向量索引，把生成模型用于产生连续意图查询。先从单步查询开始，再加入少量残差步，分别测准确率、P95 延迟、向量搜索成本和更新吞吐。社区业务还需要显式 query 表征，而正文任务只有用户行为序列，因此把用户历史输入替换为 query 加历史属于应用假设，不是论文已验证方法。应在时间留出的真实查询上与现有召回器比较，并检验短历史用户和刚发布的帖子。

部署预算应同时计入生成计算和 ANN 访问。删除 beam 和编码映射可能简化流程，但训练时全目录 softmax、上线时索引精度与版本一致性都有成本。建议将连续生成召回作为一条受控候选通道，结合既有词法和稠密召回做增量试验，再由相关性重排控制结果质量。没有线上证据前，本文只支持“值得试验输出接口的选择”，不支持直接替换成熟系统或承诺业务收益。

正文来源：https://arxiv.org/html/2610.12977 。本解读依据方法、主结果、消融与附录配置写成，区分作者报告与社区场景的应用推断。