ReuseGR: Offline--Online Decoupled Generative Retrieval via Adaptive Prefix Reuse

做生成式检索上线的团队值得读：它给出了一种拆法，大模型的算力按搜索词复用，个性化留给在线小模型，并且有线上 A/B 验证。生成式检索换成更大的模型，召回更准，但在线逐个 token 解码太慢。可同一个搜索词每天被很多人搜，每次都从头生成完整的 Semantic ID 是在重复计算。ReuseGR 把活拆成两半：离线用大模型给每个搜索词先生成一批 SID 前缀，同词的请求共用；在线用小模型按当前用户的历史挑前缀，再补全剩下的 token。在一个搜索广告数据集上，假设前缀已提前缓存好，它的 HR@100 和全程在线跑大模型持平，在线延迟却低 57.7%；线上 A/B 里，点击率比原来的小模型方案相对提高 0.93%。

它到底在解决什么问题？

这篇论文的场景是搜索广告的召回：用户输入一个搜索词，系统要从 338 万个广告商品里先捞出一批候选，交给后面的排序。每个商品有一个 4 层的 SID，每层从 32 个码里选一个，前两层大致对应一个粗类目。生成式召回就是让模型读搜索词和用户最近的行为，一层一层生成 SID。

问题在于，同一个搜索词会被很多人搜。下面是一个示意：

三个请求的前两层几乎一样，因为它们主要由搜索词决定；真正因人而异的是后两层。全程在线的方案每来一个请求，都要从第一层重新解码一遍，前两层的计算是白重复的。

论文先用点击日志验证了这一点，这个分析叫 KeyProbe。它对比两种猜法，猜的都是一条点击记录在某一层的码。第一种只看同一个搜索词、前面几层码也相同的其他点击记录，取它们在这一层最常出现的码。第二种不看搜索词，取所有搜索词下同样前缀后面最常见的码。在 SID 第 1 层和第 2 层，看搜索词的猜法准确率分别高出 61.18 和 25.95 个百分点；到第 3 层只高 3.51 个点，第 4 层已经没有可靠差别。前几层主要由搜索词决定，后几层才轮到个人历史，这就是拆分的依据。

整体流程：离线定前缀，在线补后缀

关键分工是：大模型只看搜索词，算一次，所有搜这个词的人共用；小模型看个人历史，每个请求都算。缓存没命中的新搜索词，直接退回原来的 0.5B 端到端模型。其中预测深度大于 0 的搜索词会排队等离线补上缓存，预测深度为 0 的就一直走在线。请求从不等大模型。下面拆开讲三个部件。

每个搜索词该缓存几层？

缓存越深，在线要解码的层越少，可是留给个人历史挑选的余地也越小。比如一个搜索词缓存到第 3 层，在线就只剩最后一层可选。不同搜索词的合适深度差别很大，所以 ReuseCut 给每个搜索词单独定深度。

训练标签来自历史点击，算的是一种覆盖率。对某个搜索词的每条点击记录，先把这条记录拿掉，用这个词剩下的点击按点击量排出每一层的前 32 个前缀，再看这条记录点的 SID 的前缀在不在里面。在里面的记录占的比例，就是这一层的覆盖率。举个示意：一个搜索词有 20 条点击记录，第 1 层有 19 条的前缀能在别人排出的前 32 里找到，第 2 层有 15 条，第 3 层只有 6 条，覆盖率是 0.95、0.75、0.30。门槛设为 0.4，这个词的标签就是 2 层。论文实际用的是覆盖率的置信下界，点击少的搜索词会被判得更保守；记录少于 5 条的搜索词不参与深度分类器的训练。

有了标签，再训练一个很轻的分类器，只看搜索词的字符片段和长度，预测该缓存几层。这样从没出现过的搜索词也能拿到深度。

为什么不统一缓存 2 层？论文有一组直接的对照。按搜索词定深度时，候选范围里能找到的用户真实点击 SID 占 78.62%；统一 2 层时是 74.18%。更有说服力的是打乱实验：把同一批深度随机分给别的搜索词，深度的分布和平均在线步数都不变，HR@100 却掉了 3.17 个点。这说明收益来自深度和搜索词的匹配，而不是平均深度变了。

在线小模型怎么补全？

缓存里每个搜索词存三样东西：该缓存几层、前缀本身（SID 的前几个码），以及大模型给每个前缀的分数。存的是码和分数，不是模型的中间状态。

在线时，0.5B 补全模型先把搜索词和用户历史编码一次，所有分支共用这份 KV cache。然后以缓存的前缀为起点，由小模型自己往下解码到第 3 层，每一步优先展开总分最高的分支。缓存省掉的是前几层的搜索，也就是不用在线从全部码里一层层挑前缀；小模型往下生成时仍以前缀为条件，前缀的几个码要作为输入交给它。这样得到最多 64 个三层分支（论文叫 branch，就是 SID 的前三个码）。缓存深度本来就是 3 层的搜索词，直接用缓存里的前缀当分支。最后小模型一次性给每个分支下的第 4 层打分。一个完整 SID 的分数是两部分相加：离线大模型给前缀的分数，加上在线小模型对后面几层的打分。

小模型比大模型弱，所以作者用 7B 模型给它做蒸馏。做法是沿着用户真实点击的那条 SID 路径，让小模型在前缀之后那几层输出的概率分布去贴近大模型，同时保留一半权重的普通监督损失。这里有个不对称：老师只看搜索词，学生看搜索词加历史。只训练学生的 LoRA 参数，大模型和缓存都不动。这一步在延迟不变的情况下，把 HR@100 从 82.64% 提到 83.32%。

个性化到底有没有用？作者挑出 286,046 条请求，它们的用户历史和同一搜索词第一条记录的历史不同，在这些请求上，固定缓存和模型，只换历史输入。用真实历史比用同一搜索词下打乱的别人的历史，HR@100 高 1.43 个点。还有 5.67% 的请求，用户点的 SID 不在大模型只看搜索词给出的前 100 里，ReuseGR 靠个人历史把它找了回来。这说明缓存的是前缀而不是完整结果，才留出了个性化的空间。

为什么还要挑分支？

64 个分支每个下面最多 32 个叶子，全部合并后取前 100。问题是一个高分分支可能带进来一堆用户不会点的叶子，把真正相关的 SID 挤出前 100。举个示意的例子：分支 B 分数很高，但它的叶子大多没人点，合并后占掉了前 100 里的许多位置，把分支 C 里被点过的 SID 挤了出去。所以挑分支时要看合并重排后召回涨了多少，而不是只看分支自己的分数。

BudgetCut 就是学这个挑法。它的候选就是上一步那最多 64 个三层分支，每个分支下的叶子都已经打好分，它最多从中选 32 个。一个分支值不值得选，要看已经选了谁，所以它一个一个地选。每一步用一个两层 MLP 给剩下的分支打分。输入有四样：这个分支的 8 个特征，已选分支特征的平均，已经选了几个，以及还剩几个没选。8 个特征都直接取自打分结果：第 3 层这个码的原始分数和只在合法码里归一化后的对数概率，父前缀和分支本身的累计分，分支下有多少个合法叶子，以及最好那个叶子的分数、前 8 个叶子的平均分、前 8 个里有几个合法叶子。

训练分两步，都只在训练集上用点击标签。第一步先定义一个分支的召回增量：把它加进已选集合，合并所有叶子、按分数重排取前 100，看用户点过的 SID 被找回的比例涨了多少。挤掉了相关 SID 的分支，增量会是负的。在每一步，把剩下每个分支的增量直接当分数做 softmax，得到一组选择概率：增量越大概率越高，负增量的分支概率最低。策略的打分去贴近这组概率。第二步用 GRPO 直接优化整组选完后前 100 的召回。打分模型在训练时是冻结的，叶子分数可以提前存好，所以试不同组合时不需要重新生成 SID。线上推理时没有点击标签，只用训练好的 MLP 一个个挑分支。

和只按分数挑相比，BudgetCut 让 HR@100 多了 2.91 个点，延迟只多 0.42 毫秒；和不挑、全部合并相比，HR@100 高 2.50 个点，还省了 4.64 毫秒。少合并一些分支反而召回更高，因为被挤出去的往往正是相关的 SID。

这套方案真的更好吗？

离线评估用 44,225 个测试搜索词，单张 A100、批大小为 1，ReuseGR 假设前缀已经缓存好。

HR@100 和 7B 端到端持平，延迟从 168.88 毫秒降到 71.45 毫秒。和同样做前缀缓存的 OneRec-Think 比，延迟接近，HR@100 高 4.34 个点。整体方案在 HR@100 和延迟上更好，各个组件各贡献多少，要看后面分别做的对照实验。

线上在一个大型全球电商平台的搜索广告做了 14 天 A/B，两组各 10% 流量，ReuseGR 替换原来的 0.5B 端到端召回，其他召回通道和排序都不变。点击率提高 0.93%，千次请求收入提高 1.05%。

我认为它的局限

第一，HR@100 追平了 7B，Recall@100 还差得不少：46.05% 比 50.96%，还略低于 SmartGR 的 46.90%。一个搜索词平均有 15.77 个被点过的 SID，Recall 更接近召回的真实质量。

第二，收益依赖缓存命中。只给出现过的 9,276 个搜索词备缓存、其余走原模型时，整体 HR@100 是 82.38%，只比 0.5B 端到端的 81.99% 高一点。新搜索词多的场景，要靠异步补缓存追上来。

第三，线上每次点击的转化率降了 0.21%。每次请求的订单数涨了 0.78%，点击涨得更多，所以每次点击带来的订单略少。

一个搜索团队可以怎么试

1. 先在自己的日志上做 KeyProbe 式的分析：按 SID 每层看，搜索词能多大程度决定这一层的码。如果前两层同样被搜索词主导，拆分才有基础。
2. 从最便宜的版本开始：所有搜索词统一缓存 2 层前缀，在线小模型补全，对比原来的端到端召回。这一步看的是延迟能省多少、召回掉不掉。
3. 有收益再加按搜索词定深度。用打乱深度的对照检查收益是否来自匹配本身。
4. 最后再上蒸馏和分支挑选。BudgetCut 训练时打分模型冻结，可以离线反复试，成本不高。

结论

最值得带走的一点是：生成式召回里，由搜索词决定的那部分计算可以离线做一次、所有人共用，在线只为个人差异付费。