生成式推荐把每个物品编码成几个 token 组成的 ID，模型根据用户历史逐个生成这些 token，每一步只留概率最高的 50 条生成到一半的序列，最后再按同一个生成概率给候选排序。冷门物品概率低，往往前一两步就被丢掉：在 Amazon 工业科学品类上，用 MiniOneRec 生成 50 个候选，测试集里冷门目标只有 11.94% 在候选里；作者给每个用户额外塞 25 个冷门候选，因此多进来 135 个冷门目标，按生成概率排序后进前 10 的一个都没有。CAPE 不重训模型，推理时从训练数据里数出“哪些物品和用户历史被同一批用户交互过”，用它多召回 25 个冷门候选，并把这个计数加进排序分。LastFM 音乐数据上，TIGER 前 10 命中冷门目标的比例从 3.94% 涨到 17.19%；论文各组实验里，每次请求的耗时只多 11–16%。

1. 先把场景说清楚

生成式推荐这两年在工业界很热，代表是 TIGER 和 OneRec 一类模型。它的做法和双塔不一样，不建向量索引。每个物品先被编成一个短 ID，比如三个 token，这个 ID 叫语义 ID（SID），内容或表示相近的物品前几个 token 也相同。线上请求来了，模型读用户历史，先生成第一个 token，再接着生成第二个、第三个，拼出一个完整 ID 就是一个候选物品。

一个用户不可能只要一个候选，所以生成时用 beam search：每生成一步，只保留到目前为止概率最高的 B 条序列，其他的丢掉。这篇论文里 B 取 50，最后得到 50 个候选。然后排序也不另外训练模型，直接用生成这个物品 ID 的概率从高到低排，取前 10 展示。召回和排序用的是同一个分数。

论文关心的是冷门物品，定义是按训练集出现次数排在后 80% 的物品，下文都叫长尾。它们在测试集里占了一半以上的目标：Amazon 工业科学品类（下文 I&S）57.8%，Amazon 办公用品（下文 Office）51.1%，LastFM 64.2%。

2. 长尾为什么在召回时就被剪掉

beam search 每一步比较的是一个“生成到一半的前缀”的概率。论文用链式法则证明了一个很直观的事实：一个前缀的概率，等于以它开头的所有物品概率之和（命题 2.2）。
$$p_{\theta }(z_{\le t}\mid H_u)=\sum _{c:z_{\le t}(c)=z_{\le t}}{p}_{\theta }(c\mid H_u)+{ϵ}_{\theta }(z_{\le t}).$$
$z_{\le t}$ 是 ID 的前 $t$ 个 token，$H_u$ 是用户历史，$c$ 是物品，$ϵ$ 是生成出不存在的 ID 的那点概率，只在合法 token 里归一化时为 0。

所以一个前缀能不能留下来，看的是它下面所有物品的概率加起来有多大，而不是下面最好的那个物品。模型用最大似然训练，冷门物品本身分到的概率就低，它所在的前缀加起来也不够大，第一步就可能被挤出前 50。

能不能单独给冷门物品的前缀加分？作者查了一下，I&S、Office、LastFM 上分别有 99.97%、96.21%、99.95% 的冷门物品，第一个 token 和至少一个热门物品相同。给这个前缀加分，加分会被同一前缀下的热门物品一起拿走。

排序这一步也救不回来。只要是从 50 个候选里挑前 10，冷门物品命中率最高也就是“冷门目标落在候选里的比例”。召回时丢掉的，后面任何重排都捞不回来（命题 2.1）。

3. 诊断：长尾到底丢在哪一步

这组实验要回答的是：冷门目标是在召回时没进候选，还是进了候选但被排序压下去了。

做法是固定住训练好的模型不动，对每个用户造三种候选集，都用生成概率排序，看测试目标是否落在候选里、是否进了前 10。三种候选集分别是：正常 beam 宽度 50；beam 宽度加到 75；宽度 50 再额外塞 25 个冷门物品，这 25 个是和用户历史共现次数最多、且不在原候选里的冷门物品。共现次数的具体算法在第 4 节。

模型用了两个：MiniOneRec（基于 Qwen2.5-1.5B 的生成式推荐）跑 I&S、Office、LastFM；TIGER（经典的生成式召回模型，编码器-解码器结构）跑 LastFM，取三个随机种子的均值。

先看召回。宽度 50 时，只有 5.21%–11.94% 的冷门目标进了候选，剩下的八九成后面怎么排都没用。宽度加大 50%，I&S 和 Office 分别多进来 66 和 63 个冷门目标，但前 10 命中只变了 −1 和 +1，LastFM 上最多只多进 8 个。多出来的 25 条 beam 给的还是概率次高的前缀，里面主要是热门物品。

再看排序。额外塞的 25 个冷门物品确实带进来不少目标，I&S 上 135 个，但按生成概率排完，进前 10 的是 0 个。生成概率本身就偏向热门物品，冷门目标就算进了候选，也排在热门物品后面。

还有一个比例在第 5 节会用到：在宽度 50 没召回的冷门目标里，按和用户历史的共现次数排序，目标能排进该用户冷门物品前 50 的比例，I&S 8.2%、Office 9.6%，LastFM 两组是 24.0% 和 25.5%。也就是说共现计数在 LastFM 上能找回的东西明显更多。

作者把原因归到 Wide & Deep 里那对概念。推荐模型有两种本事：一种是直接记住“哪两个物品经常一起出现”，叫记忆；另一种是通过共享的表示推到没见过的组合，叫泛化。生成式模型是靠共享前缀做决策的，偏泛化，缺物品对级别的记忆；而 item-based 协同过滤做的就是这种记忆。

4. 方法：召回补一路，排序加一项

CAPE 的名字是 Co-occurrence-Aware Pool Expansion。它不改模型参数、不改 ID 编码、也不改 beam search，所有改动都在推理时加在模型外面。一次请求按三步走。

第一步，补一路冷门候选。 离线先从训练数据算一张表 $U[j,c]$：同时交互过物品 $j$ 和物品 $c$ 的用户有多少个。线上把用户历史里每个物品在这张表里对应的那一行加起来，得到每个物品的分数 $S_u(c)={\sum }_{p}U[i_p,c]$，然后在“冷门、且不在原来 50 个候选里”的物品中取分数最高的 25 个。这里按用户数而不是按交互次数来数，是为了防止几个重度用户的行为决定补什么。

补进来的 25 个物品也要有一个模型分，否则没法和原候选一起排。做法是把这 25 个物品的 ID 直接喂给原模型，算出生成每个 ID 的概率（论文叫 teacher forcing），一次批量前向就够，用户历史部分可以共享计算。这样 75 个候选都有生成概率，共现计数只决定谁进候选池，不替代模型分。

第二步，排序分里加共现。 再离线算第二张表 $W[j,c]$：物品 $j$ 和 $c$ 在同一条训练序列里一起出现了多少次，它比 $U$ 多保留了一起出现的频繁程度。每个候选的共现分 $e_u(c)$ 是它和用户历史里每个物品的 $W$ 值取平均，而且只给冷门物品算，热门物品这一项直接置 0。最终排序分：
$$s_u(c)=\mathcal{N}({\ell }_u(c))+\lambda \mathcal{N}(e_u(c)).$$
${\ell }_u(c)$ 是生成物品 $c$ 的对数概率，$\mathcal{N}$ 是在这 75 个候选内部做 min-max 归一化，把两个分数都拉到 0 到 1，$\lambda$ 是唯一的超参，控制共现分的权重。要归一化，是因为对数概率和共现次数量纲完全不同，每个用户的分布也不一样，归一化之后同一个 $\lambda$ 才能对所有用户通用。

共现分只给冷门物品，原因是热门物品和谁都经常一起出现，共现次数天然偏热门。全部候选都加的话，加分主要落在本来就排在前面的热门物品上。

第三步，第一位不动。 排序结果的第一位始终是原模型排第一的那个物品，第 2 到第 10 位按新分数重排。这样每个用户看到的第一个推荐和原来完全一样，HR@1（第一位命中测试目标的比例）不变。

$\lambda$ 在验证集上从 {0, 0.05, 0.1, 0.25, 0.5, 1, 2, 5} 里选，规则是先要求整体 HR@10（前 10 里命中测试目标的比例，所有用户都算）不低于原模型，在满足的取值里挑冷门 HR@10 最高的。后面所有对比方法用同一个选参规则。

成本主要有两块。两张表都是离线建好的稀疏矩阵，按 CSR 格式存，Amazon 每个品类 1.8 MB 和 2.4 MB，LastFM 有 4 万首歌，两张表是 454 MB 和 36 MB。线上的主要开销是给 25 个补充物品算生成概率这一次前向，MiniOneRec 每个请求本来要处理约 5,100 个输入 token，多出来大约 100 个。

5. 实验

设置。 数据是 I&S、Office（按 MiniOneRec 的预处理，每个用户只保留最近 10 个历史物品，按时间 8:1:1 切训练、验证、测试）和 LastFM-1K（987 个用户、40,429 首歌）。所有方法 beam 宽度都是 50，对比方法都在同样 75 个候选的预算内做文章，分两类：

• 改召回：beam 宽度直接开到 75；diverse beam search（DBS），把 75 条 beam 分 5 组，组间加差异惩罚。
• 改排序，在和 CAPE 完全相同的 75 个候选上重排：Frequency，从生成概率里减去一个按物品热度算的惩罚项；MMR，在相关性和与已选物品的相似度之间折中；P-xQuAD，按每个用户历史里冷门物品的占比来平衡冷热；NCP，给所有候选加 $\lambda \log (1+S_u(c))$，相当于 CAPE 去掉“只给冷门加分”和归一化。这四个也都锁定第一位。

主结果要说明两件事：冷门物品的命中率能不能涨，整体命中率会不会掉。下表摘自论文表 2，单位 %。

冷门 HR@10 比原模型高 3.39、2.49、9.31、13.25 个点，比同样候选下最好的重排方法高 2.48、1.61、5.99、7.31 个点。整体 HR@10 只有 I&S 低了 0.11，其他三组分别高 0.82、4.56、7.23。

论文逐个解释了对比方法为什么不行，每条解释都有对应的数字支撑。Frequency、MMR、P-xQuAD 在每组数据上离原模型的冷门 HR@10 都不到 1 个点，热度惩罚和多样性只能把冷门物品整体往前推，分不出用户要的是哪一个。NCP 也用了共现，但它给所有候选都加分，热门物品也被抬上去，比 CAPE 低 1.6–7.3 个点。DBS 分组后各组生成的 ID 大量重复，I&S 上 75 条 beam 平均只出 28 个不同物品。

LastFM 上，两个模型加了 CAPE 之后的冷门 HR@10 变得一样。原来两者差一倍，MiniOneRec 7.89，TIGER 3.94；加上 CAPE 之后两个都是 17.19，命中数分别是 109 和 108–110（TIGER 三个种子），而整体指标和 HR@1 依然不同。作者的读法是两个模型在冷门上差的都是同一种物品对记忆，补上同样的共现信息就补到同一个位置，和模型结构关系不大。

作者在方法和选参规则都定下来之后，又把 TIGER 拿到三个 Amazon 品类上跑了一遍，包括物品更多的 Beauty（12,101 个物品）。冷门 HR@10 分别从 3.55 到 5.78、3.43 到 5.75、1.34 到 2.12，相对提升 58–68%，整体 HR@10 都不低于原模型。

召回和排序各贡献多少。 做法是两个只修一处的对照：只补候选，75 个候选还是按生成概率排；只改排序，不补候选，在原来 50 个候选上用新分数排。结果在图 1 右侧。

只补候选，冷门 HR@10 的变化是 0.00、0.36、0.79、0.00，补进来的冷门目标被生成概率排了下去。只改排序，I&S 和 Office 上有 +3.05 和 +1.81，但在 LastFM 上正好停在 8.04 和 5.21，也就是冷门目标落在原候选里的比例，第 2 节说的那个上限。两个一起做，LastFM 上的提升远大于两个单项之和：MiniOneRec 是 9.31 对 0.95，TIGER 是 13.25 对 1.26。

哪一半更重要和数据有关。在 I&S 和 Office 上，原模型只把候选里 31% 和 54% 的冷门目标排进前 10，问题主要在排序；只改排序就能把这个比例提到 56% 和 71%。LastFM 上原模型已经把候选里 98%（MiniOneRec）和 76%（TIGER）的冷门目标排进了前 10，排序没什么可改的，只能靠多召回；补候选这一步在 LastFM 上比只改排序多涨 9.15 和 11.99 个点，在 Amazon 上只有 0.34 和 0.68。这和第 3 节最后那个比例对得上（Amazon 8–10%，LastFM 24–26%）。也就是说，上线前离线统计这两个比例，就能大致判断收益主要来自补召回还是改排序。

多出的 25 个候选怎么花更值。 这组实验比较两种花法：beam 宽度从 50 开到 75，以及 CAPE 的共现补充，两者后面用同样的新排序分。下表摘自论文表 4，延迟是单卡跑完整请求的墙钟时间，取每个模型前 128 个测试用户的均值，括号里是相对原模型的倍数。

Amazon 上两种补法的效果差不多，LastFM 上共现补充高出 8 个点以上。成本差很多：beam 开宽要把多出来的 25 条序列每一步都生成一遍，输入 token 翻了一倍多，请求时间多 109–143%；共现补充只需对 25 个已知 ID 算一次概率，多 11–16%。

作者还试了把共现补充换成一个训练好的 LightGCN 召回，同样取原候选之外的 25 个物品，排序不变。LightGCN 带进来的新冷门目标只有 14、35、24 个，共现补充是 135、159、98 个；在七组模型和数据的组合里，冷门 HR@10 都是 CAPE 更高，最多高 9.3 个点。作者的解释是图卷积会把冷门物品的信号往它的热门邻居上平滑，原始共现计数保留了具体是哪两个物品一起出现。

消融里最关键的两组。 第一组检验补充候选有用，是因为挑中的是共现物品，还是只因为给冷门物品留了 25 个位置。做法是把这 25 个位置换成最热门的 25 个冷门物品，或者随机 25 个冷门物品。结果新进的冷门目标 I&S 只有 9 和 26 个，Office 33 和 21 个，LastFM 0 个。

第二组检验排序分里的共现项有用，是因为它记的是具体物品对，还是只是给冷门物品统一加分。做法是把 $W$ 表的物品编号随机打乱（取 5 次均值），候选和“只给冷门加分”的规则都不变。冷门 HR@10 掉到 3.67、6.04、8.86、5.68，和只按生成概率排几乎一样。两组一起说明，收益来自“哪些物品真和这个用户的历史一起出现过”。

另外两组。共现分不限于冷门、给所有候选都加时，整体 HR@10 涨得更多（13.48、15.82、12.36、13.41），冷门 HR@10 比 CAPE 低 0.24–2.71 个点，而且四组数据上整体 HR@10 都高于原模型。也就是说，生成式模型整体都缺物品对记忆，冷门物品上缺得最多；更看重整体指标的业务可以去掉这个限制。不锁第一位时，Amazon 两个品类的 HR@1 从 5.58 降到 5.47、8.36 降到 8.08，锁定的代价不大。

6. 局限

共现表只能覆盖训练数据里出现过的物品对，新上架、没有任何共现记录的物品，这条补充路径够不到，冷启动不在这篇的范围内。实验规模也偏小：Amazon 每个用户只保留 10 个历史物品，LastFM 只有 987 个用户，模型最大 1.5B。更大的生成模型、别的 ID 编码方式下，这两处问题会怎样变化，作者自己也说还没测。

还有一点论文没覆盖。LastFM 4 万首歌的用户级共现表就有 454 MB，工业物品库到千万甚至上亿时，完整的物品对共现表肯定存不下，需要截断成每个物品只留 top-N 共现邻居，这部分的成本和效果损失要自己评估。

7. 对做生成式召回的团队有什么用

这篇最值得先拿去用的是诊断方法，因为它不改任何模型，只统计两个比例，就能判断该补召回还是改排序。把测试目标按训练集出现次数切成热门和冷门，统计两个数：冷门目标有多少落在 beam 候选里，候选里的冷门目标又有多少最终进了前 10。如果候选里的冷门目标很少进前 10，先改排序分；如果它们大多能进前 10、但进候选的很少，就得在 beam 之外补候选。

方法本身也好落地。它本质上是把老的 item-CF 共现召回接回生成式链路：beam 外补一路共现候选，用生成模型给它们算一次概率，排序时再加一项只给冷门物品的共现分。不少团队本来就把生成式召回和传统多路召回并行跑，这篇多给了一条结论：只补候选不够，补进来的冷门物品会被生成概率重新压到后面，排序分里也得带上共现。CAPE 不动原模型排在第 1 位的物品，只对第 2 到第 10 位按新分数重排。这样上线时影响范围很好说清楚：头部结果和原模型一模一样，变的只是后面几位。

个性化奖励模型要为不同用户给同一条回复打不同的分，训练数据是用户标注的偏好对：同一个提示下两条回复，用户选了哪条。这种标注很贵，每个用户只有几十对，新用户可能只有十几对；与此同时，模型能生成的回复要多少有多少，只是没有用户、也没有偏好标签。Duke 和 GWU 的这篇 PerSPL 把这批无标注回复变成每个用户各自的训练数据：先在训练中把每对标注回复的分数均值压向 0，让不同提示下的分数可以放在一起比；再为每个用户拟合一条“分数→被选中概率”的单调曲线，只给置信度高的无标注回复打伪标签，和标注数据一起反复重训。在 PersonalLLM、HelpSteer2、Reddit TLDR、Chatbot Arena 四个基准上，PerSPL 对见过的用户和新用户都拿到最高平均准确率，PersonalLLM 上新用户准确率 95.5%，最强基线 LoRe 是 94.0%。

1. 为什么无标注回复不能直接用

奖励模型常用 Bradley–Terry（BT）损失训练：用户 $u$ 在提示 $x$ 下更喜欢 $y^{+}$ 而不是 $y^{-}$，模型给两者打分 $r^{+}$ 和 $r^{-}$，
$$L_{BT}=-\log \sigma (r^{+}-r^{-})$$
损失只看分差。给同一个提示下的两个分数同时加 100，损失不变，同提示内的排序也不变。

这在比较同一提示下的两条回复时没问题，但对单条无标注回复就成了麻烦。要给一条回复打“这个用户会喜欢”或“不会喜欢”的伪标签，得拿它的分数和一个跨提示统一的阈值比。论文举了个例子：提示 a 下两条回复得分 (101, 100)，提示 b 下是 (1, 0)。同提示内都排对了，但提示 b 里被选中的那条（1 分）比提示 a 里被拒的那条（100 分）还低，用任何一个阈值都分不开。作者把这个问题叫分数坐标不确定：成对损失定了分差，没定每对分数整体落在哪。

现有的半监督奖励模型（SSRM、SSPO 等）都只学一个全体用户共用的奖励，用一个全局阈值打伪标签，处理不了“同一条回复对不同用户标签不同”的情况。

2. 方法

2.1 分数对中心

解决办法很直接：既然每对分数的均值没人约束，就加一项把它压向 0，
$$L_{reg}=\mathbb{E}\left[{\left(\frac{r^{+}+r^{-}}{2}\right)}^2\right]$$
期望对所有用户的所有标注对取。上面的例子里，两对分数都会被拉到 (0.5, −0.5) 附近，同提示内的排序不变，跨提示的比较也对了。主实验里这一项的权重 ${\lambda }_r=0.01$。

2.2 每个用户一条校准曲线

有了可比的分数，下一步是确定每个用户的阈值。对用户 $u$ 的每个标注对，把选中回复的分数标 1、被拒回复的分数标 0，用保序回归拟合一个单调不减的函数 $f_u$，输出“这个分数出现在选中一侧的概率”。$f_u$ 第一次达到 0.5 的位置记为该用户的阈值 ${\delta }_u$。

对一条无标注回复，算出它在用户 $u$ 下的分数 $r$：若 $f_u(r)>\tau$ 标为喜欢，若 $f_u(r)<1-\tau$ 标为不喜欢，介于两者之间就弃权，不进训练。主实验 $\tau =0.6$。伪标签的损失以 ${\delta }_u$ 为分界，
$$L_{unlabel}=-\mathbb{E}\left[z\log \sigma (r-{\delta }_u)+(1-z)\log \sigma ({\delta }_u-r)\right]$$
$z$ 是伪标签。同一条回复对不同用户会落在曲线的不同位置，所以拿到的标签可以不同。

2.3 迭代自训练

第一轮只用标注数据加对中心项训练，得到初始模型和每个用户的校准曲线。之后每一轮：用当前模型给无标注池重新打伪标签，模型重新初始化，用 $\alpha L_{label}+(1-\alpha )L_{unlabel}+{\lambda }_r{L}_{reg}$ 训练，主实验 $\alpha =0.7$。校准曲线只用标注数据拟合。

模型结构和基线 LoRe 一样：在冻结的 4,096 维语言模型末 token 表示上，学一组低秩线性基，每个用户一组落在单纯形上的混合权重。所以 PerSPL 和 LoRe 的差别只在训练数据和损失上。

3. 实验

四个基准分别覆盖“回复真不真实”和“用户真不真实”两个维度：PersonalLLM 是合成回复加模拟用户，HelpSteer2 是人工评分回复加按属性权重模拟的用户，Reddit TLDR 和 Chatbot Arena 是真实用户的真实偏好。见过的用户参与联合训练；新用户只用一个小的支持集适配。指标是同提示内成对准确率，五个随机种子取均值。

主结果。这组要证明加了无标注数据后，在相同模型结构下准确率更高。七个基线包括：不区分用户的 BT、把用户信息作为输入的 GPO 和 VPL、给每个用户加小模块的 PAL 和 LoRe、元学习方法 MRM，以及现成的 Skywork V2 奖励模型。

PersonalLLM 和 HelpSteer2 取多样性参数 0.1；Chatbot Arena 每个见过的用户 25 对、新用户 12 对标注。PerSPL 在每一列都是最高均值。和同结构的 LoRe 比，Reddit TLDR 见过用户从 65.3 升到 70.7。和每组设置里整体最强的基线做配对 bootstrap，见过用户和整体的差值区间全部不含 0，新用户五组里有四组不含 0。

2×2 消融：对中心项和无标注数据谁在起作用。这组在 HelpSteer2 两个设置和 Reddit TLDR 两个设置上，分别开关对中心项（${\lambda }_r$ 设为 0）和无标注训练（只跑一轮，$K=1$）。

只加对中心项，见过用户准确率变化在 ±0.1 之内。没有对中心时加无标注数据，四组设置里掉 2.9 到 6.5 个点；有对中心时再加，涨 0.5 到 1.8 个点。所以对中心项本身几乎不提分，它的作用是让无标注数据从有害变成有用。

标签噪声和标注预算。在 HelpSteer2 上和最强基线 MRM 对比。随机翻转偏好标签的比例从 0 加到 0.5，两者都下降，PerSPL 一直领先，翻转比例 0.4 时领先 5.07 个点，0.5 时 6.69 个点。每个见过用户的标注从 50 对加到 200 对，PerSPL 一直高 0.81–1.08 个点。新用户支持集从 10 对加到 50 对，领先幅度从 0.81 扩大到 1.33 个点。

无标注回复来自别的模型时。这组要回答：无标注池的回复和标注数据不是同一批生成器产出的，还有没有用。PersonalLLM 上固定 20% 的标签翻转（避免准确率饱和），让无标注池里来自两个未见过的生成器的比例从 0 到 1 变化。相对只用标注数据的模型，提升从 3.21 个点降到 0.66 个点，十个种子的配对区间都在 0 以上。

4. 局限

作者指出，每个用户的校准曲线需要一些标注作锚点，所以方法只适用于少样本个性化，处理不了零样本的新用户。分布偏移实验只覆盖了论文选的几个生成器。

补充两点：所有方法都建立在冻结的语言模型表示上，只训练奖励头，没有测试端到端微调奖励模型时的表现；实验评的是奖励模型的成对准确率，没有接到下游的策略训练或回复选择上看效果。

5. 实践意义

如果你在做个性化排序或个性化奖励模型，手上有大量没标签的候选，PerSPL 的两步可以直接借：先给成对损失加一项把每对分数均值压向 0，检查不同请求之间的分数是否可比；再按用户拟合保序回归做校准，只给高置信样本打伪标签。消融说明第一步是前提，没有它直接自训练会掉点。

序列推荐要根据用户按时间排好的历史行为预测下一个交互物品，常规做法是让每条历史行为都堆叠同样多层编码。作者拿训练好的三层 SASRec 做诊断，发现 76.1% 的行为推理一层表征就已收敛，6.7% 要堆叠满三层才稳定，两类行为还经常出现在同一条序列里。统一深度在已收敛的行为上浪费算力，又没给少数难的行为算够。LoopRec 让每条历史行为各自决定堆叠几层，深度按行为分配，而不是按整条请求分配。这篇的核心改动，是把“算几层”从一个全局超参数变成了每条历史行为自己的属性：难的行为可以多算几轮，已经收敛的行为提前停下。

整体结构分三步。先把整段历史过一遍共享编码块，也就是一套参数反复调用的 Transformer 块；然后在每个递归边界，由门控（一个读取当前表征、输出退出概率的轻量网络，论文也叫路由器）逐位置决定退出还是继续，只有继续的位置再过一遍同一个块；最后按每个位置选中的深度读出表示，预测下一个物品。监督信号只有下一物品的交叉熵，训练时另加两个约束门控的正则和一段预热。作者在三个 Amazon 数据集、四类主干上验证，在 Amazon Software 数据集上，以 SASRec 为主干时 NDCG@20 相对提高 5.68%。

1. 问题与动机：凭什么每条行为都过一样多层

今天几乎所有序列编码器，不管是 attention、卷积还是线性循环，都默认每条历史行为过同样多层。三个月前随手点开的东西和昨天反复看的东西，花的算力完全一样。

作者在提方法之前先做了两个诊断。开头的数字来自第一个：在 SASRec（用自注意力建模行为顺序的经典序列推荐模型）里每次只让一个位置提前停止更新，推荐集合不再变化的最浅层，就是这个位置的饱和深度。浅层饱和和深层饱和的位置混在同一条序列里，任何固定深度都顾不全。

第二个诊断更直接，只动最近五条行为的深度，让一个知道真实目标物品的离线搜索器挑最好的深度分配。这个搜索器看得到答案，只是分析工具，线上路由器拿不到未来目标。它回答的问题是：如果每条行为的深度可以分开选，指标能不能比统一深度更高。答案是能，而且搜索器挑出来的分配，很多时候总计算量还更少。这两个诊断比方法本身更有说服力，因为它们在还没有新模型的时候，就证明了按行为分配深度确实有提升空间。

2. 方法：一个块反复用，每轮问一次要不要继续

为什么要共享参数？如果每层参数都不一样，第二层退出的位置和第四层退出的位置就落在不同的表示空间里，后面没法统一打分。LoopRec 的解法是只有一个编码块，反复调用，不管在哪一轮退出，表示都出自同一套参数。论文用 LxRy 描述结构，x 是共享块的层数，y 是最多递归几次，比如 L2R3 就是两层的块最多用三次。

这种共享块反复调用的结构叫 looped Transformer，Universal Transformer 很早就把共享递归和逐位置 halting 放在一起，MoR（Mixture-of-Recursions）也在语言模型上做了 token 级的递归深度分配。区别在决策方式：MoR 要么一开始就给每个 token 定好总深度，要么每一步按固定容量挑 top-k 继续；LoopRec 每一轮都用当前的上下文状态重新判断一次，二元的停或不停，不需要 top-k。放到推荐里，逐轮二元判断比固定容量更合适，因为用户序列的长短和信息密度差异大，top-k 的容量很难设成一个固定值。

具体来说，初始阶段整段历史编码一次。之后每个递归边界，门控读取每个活跃位置的当前状态和递归索引，输出一个标量，过 sigmoid 变成退出概率：
$$p_i^{(r)}=\sigma (g(h_i^{(r)},e_r)).$$
这里 $i$ 是历史位置，$r$ 是当前递归深度，$h$ 是该位置此刻的状态，$e$ 是深度编码，$g$ 是一个很轻的门控网络，$\sigma$ 就是 sigmoid。概率过阈值就停，否则继续。先让所有位置吸收一轮上下文再做判断，比一开始就固定深度更合理，因为这时每个位置的状态里已经有了整段序列的信息。

只有继续的位置会组成下一轮的输入，保持原来的相对顺序，用因果掩码，每个位置只能看到它之前的行为。停下来的位置把当前状态冻住，不再更新。到最大递归次数时，剩下的位置一律强制停止。

实现上有个容易出错的地方。下一轮只处理继续的位置，序列的长度和内容都变了，实现时必须严格维护活跃位置的索引和顺序，否则同一个请求在不同 batch 里会算出不一样的结果。动态位置压缩做得好不好，也直接决定速度收益能不能兑现。

读出阶段把每个位置的输入向量和它选中深度的状态结合起来。前向用硬深度，深度相关的权重仍然给路由概率回传梯度，所以门控能直接从推荐目标里学，不需要任何深度标签。共享块保证参数量不随深度增加，深度相关读出则把停止决策和最终预测连起来。

训练最大的麻烦是路由容易塌。如果所有位置都在同一轮退出，模型就退化回固定深度。论文加了一个深度使用正则，把实际硬路由的比例和可微的软概率质量结合起来，防止深度扎堆。

另一个正则管门控过早输出极端分数。概率一旦早早饱和，停止选择就固定了，训练初期还没成形的状态会决定整条训练轨迹。作者借了 MoE 里常用的 router z-loss，惩罚二元门控的对数配分函数过大。

总目标写出来是这样：
$$L=L_{rec}+{\lambda }_b{L}_{bal}+{\lambda }_z{L}_z.$$
$L_{rec}$ 是下一物品的交叉熵，$L_{bal}$ 是深度使用正则，$L_z$ 是门控稳定项，${\lambda }_b$ 和 ${\lambda }_z$ 分别控制两个正则的强度。后两项只约束路由，物品预测的监督仍然只有目标物品标签。

训练还有个预热阶段。预热时所有有效位置都走满最大深度，路由正则先关掉，让共享主干先学出能用的状态，然后再打开门控。消融里去掉预热，三个数据集都掉点，Software 掉得最多，所以这一步不是可有可无。调参时最该盯的是共享块层数、最大递归次数和预热长度，它们一起决定了能不能学起来，以及实际计算预算有多大。

走一遍请求会更直观（示意）。用户最近五次看过 A、B、C、D、E，候选是 F。初始编码让五个位置互相交换上下文。第一个门控让 A、B 退出，C、D、E 继续；下一轮 C 也退出，D、E 一直走到预算上限。模型按各自选中的状态读出，再给 F 打分。这里的退出轨迹和字母都是举例，线上不会用真实的下一物品替路由器做决定。

3. 核心贡献：计算怎么分配，也是建模的一部分

过去提升序列模型，常见做法是把整段序列统一加长或加深。这篇换了个角度，让模型从数据里学到哪条行为需要多堆叠几层，而且是逐轮判断，可以利用更新后的上下文，比一次性分配深度灵活。

学出来的深度分配有规律：更新的行为和更冷门的物品更常被分到深层。冷门物品统计信号少，表征要多堆叠几轮才收敛；最近的行为离当前意图近，多花点算力也合理。作者还拿按位置、按频次的启发式规则做了对照，学出来的路由平均效果更高，说明这件事不能简单靠规则替代。

论文还设了一个 Seq-level Loop 对照，同样共享递归，但整段序列一起循环，没有逐位置退出。结果是纯共享递归已经能拿到一部分收益，逐位置分配深度在此基础上再往上加，加多少因数据集而异。这组消融把参数复用和计算分配各自的贡献拆开了，是我最看重的一组实验。

共享主干这个设计也让方法不挑 backbone，论文在卷积和线性循环模型上也做了测试。它们聚合序列的方式不同，但都能把编码块反复用，再由门控决定哪些位置继续。

4. 实验结果：效果和延迟要分开看

实验用 Amazon Reviews 2023 的 Software、Office Products 和 Patio 三个类别。每个用户按时间留最后一次交互做测试，用验证集 NDCG@20 选模型。NDCG 是按名次折损的排序质量，MRR 是真实目标排名倒数的平均值。主表报告五次运行的均值。

NextItNet 是因果卷积序列模型，LRURec 是线性循环序列模型，主表的四种主干里还有在 SASRec 上加了频域偏置的 BSARec。相对收益用的是作者报告的值，因为表里的绝对指标只保留了四位小数。

Office Products 上的提升很小。我会把结论读成：在匹配的固定深度对照下，四类主干都有提升，幅度差别不小。

速度这块要看清楚口径。测试在单张 A6000 GPU 上只测编码器，不含全量候选打分。L2R4 和同最大深度的固定模型比，编码时间从 91.230 毫秒降到 79.273 毫秒；L2R2 却几乎没变化，哪怕实际执行的计算已经少了。

结构越深，提前退出能省的空间越大；但动态分支、索引整理和一堆小矩阵运算会吃掉一部分收益。作者自己也承认，省下的计算只有一部分能变成墙钟时间。要判断线上值不值，得把编码和候选打分放进完整请求里一起测。

5. 局限：速度收益看运行环境

速度只测了单 GPU 上的编码器时间，不同递归结构的改善幅度差别很大，作者也明确说跳过的计算只能部分转成墙钟收益。他们把稀疏感知的 kernel 和学习最大递归预算列为后续工作，目前最大递归次数还是训练前就定死的。

评估集中在三个同源公开数据集上，历史里的物品都按热启动处理。工业里的超长行为序列、特征交叉、候选打分，成本结构和这里不一样，论文没有直接覆盖。

6. 工业实践意义：先看路由把算力花在了哪

如果你手上有用户序列主干，最便宜的第一步是在旁边记录位置、物品频次和选中的深度，看模型是不是把额外计算花在了新近或稀疏的行为上。

上线前，拿同最大有效深度的固定主干做速度对照，编码器延迟和完整请求延迟分开测。再加一组保留共享参数、去掉自适应门控的消融，就能分清收益到底来自参数复用还是计算分配。对靠用户历史做个性化排序的系统，这几组实验直接对应效果和服务成本之间的取舍。序列越长、层数越深的主干越值得试，因为能提前退出的位置更多、省下的计算也更多；前提是推理框架能高效处理动态长度的 batch。