PFA: Attention Can Be Progressively Focused in Long-Sequence Generative Recommendation

做生成式召回、又被长序列推理延迟卡住的团队值得读。它没有发明新的稀疏注意力，而是先量清楚生成式推荐解码时注意力怎么变化，再按这个规律把挑选重要历史这件事从“每步、每条 beam 各做一次”改成“全程只做一次”。生成式推荐做 beam 解码时，每一步、每条 beam 都要对整段用户历史算一遍注意力，历史越长越慢。阿里的作者发现，解码越往后，注意力越集中在少数几条历史行为上，而且哪些行为重要，前后几步基本不变。PFA（Progressively Focused Attention）据此只在解码开头看完整历史，之后把各条 beam 的注意力按生成概率加权汇总，排出一份所有 beam 共用的重要行为排名，把这些行为的 KV cache 挪到连续内存里。之后每往后一步，保留的行为数按固定比例缩小，比如每步减半。重要的行为前几步就能找出来，后面不必每步重选。在电商广告平台的线上 A/B 中，用户历史从 128 条加长到 512 条。收入提升 3.76%，响应时间仍比直接用完整的 512 条更短。

它到底在解决什么问题？

先看一个示意场景。一个用户有 512 条历史点击，生成式召回要为他生成 100 个候选商品。每个商品用 4 个码的 SID 表示，beam search 一共走 4 步，每步保留 100 条 beam。每走一步，每条 beam 都拿自己当前的 query 去和全部 512 条历史算 attention。

完整 attention 的计算量随历史长度线性增长。论文给的实测是历史长度放大 4 倍，推理延迟变成 2.46 倍。

现有的两类办法各有毛病。第一类是解码前先把历史压短，比如 LONGER（把长历史合并成少量 token 的长序列模型）和 Q-Former 把 512 条合成更少的几个向量。压缩只做一次，和解码到哪一步无关，后面某一步需要的细节可能已经被压掉，找不回来。第二类是动态 top-k：每一步、每条 beam 用自己的 query 从完整历史里挑出最相关的 k 条再算 attention。它能跟着每一步变，但在 beam search 下很亏。100 条 beam 各挑各的，挑选本身就是开销；挑出来的 KV 在显存里东一条西一条，读取很慢。论文的消融里，动态 top-k 在工业数据集上的延迟是完整 attention 的 2.36 倍，计算量省了，时间反而更长。

两个观察：注意力越来越集中，而且排名稳定

PFA 的出发点是两张统计图，数据来自工业数据集。

第一个观察是注意力逐步集中。第 0 步还没生成任何码，query 只来自开始符，注意力铺得很开。一旦生成了第一个码，注意力就迅速收拢：从第 1 步起，排在前 10% 的历史行为就拿走了 92.98% 的 attention 权重。这和直觉一致。第一个码定下了大类，比如“运动装备”，之后的码在这个大类里细分，需要参考的历史自然越来越少。

第二个观察是排名稳定。在第 1 步按权重选出前 25% 的历史，到第 2 步和第 3 步不再重选，直接沿用，仍能保住 97.03% 和 98.62% 的权重，只比每步重选少 2.23 和 1.04 个百分点。如果偷懒只取最近的 25% 条行为，差距是 47.60 和 65.89 个百分点。这说明“最近的就是最重要的”在这里不成立，但“第 1 步重要的，后面也重要”基本成立。这批历史在第 1 步和第 2、3 步的排名，Spearman 相关系数是 0.746 和 0.713，说明排名前后基本一致，只是没有一模一样。

两个观察合起来就是 PFA 的设计：既然后面要看的历史越来越少，预算就该逐步缩小；既然排名前后稳定，挑一次就够了。

整体流程：一次全看，一次挑选，之后逐步截短

关键分工是：第 0 步和第 1 步负责“看全”，在完整历史上探索和打分，尽量保住用户的各种兴趣；第 1 步结束后负责“看准”，只在少数重要历史上算。下面拆开讲。

第 1 步为什么要把所有 beam 的意见合起来？

第 1 步时，100 条 beam 已经各自生成了不同的第一个码，代表用户不同方向的兴趣。比如一条 beam 走向“跑鞋”，另一条走向“咖啡”。每条 beam 都用自己的 query 和完整历史算一遍 attention，得到每条历史的权重。多头时把各头的权重取平均。

然后 PFA 给每条 beam 一个份量：这条 beam 的生成概率除以所有 beam 生成概率之和。每条历史的重要性分数，就是各 beam 给它的权重按这个份量加权求和：
$$s_i=\sum _{b=1}^B{w}_b{a}_{b,i},w_b=\frac{p_b}{{\sum }_j{p}_j}$$
这里 $a_{b,i}$ 是 beam $b$ 给第 $i$ 条历史的 attention 权重，$p_b$ 是 beam $b$ 的生成概率，$s_i$ 是第 $i$ 条历史的综合重要性。直觉是：越可能被推荐出去的方向，说话越算数。

举个能手算的例子（示意）。只有两条 beam，生成概率 0.6 和 0.2，份量就是 0.75 和 0.25。历史 A 在两条 beam 里的权重是 0.4 和 0.0，历史 B 是 0.1 和 0.6。A 的分数是 0.75×0.4=0.30，B 是 0.75×0.1+0.25×0.6=0.225。A 排在 B 前面，但 B 因为对第二条 beam 很重要，仍有不低的分数，不会被直接扔掉。

为什么不让每条 beam 自己挑？消融里有答案。改成每条 beam 各建一份排名后，Recall@10 略高一点，延迟却从 62 涨到 118 ms/batch。共用一份排名，相当于用一点点精度换来一半的时间。

挑出前 k 条后，PFA 把后面各步要用的历史 KV 按排名重新排列，只留前 k 条，排成一块连续内存，所有 beam 共用。第 1 步本身不再重算：前面已经算好的 attention 权重，只保留这 k 条的部分，重新归一化成和为 1，再和对应的 value 加权求和得到输出。

为什么还要每步缩小预算？

挑出来的 k 条已经按重要性从高到低排好，后面每一步只需要“取前多少条”。PFA 的预算公式是：
$$k_t=\max \left(1,\lceil k{r}^{t-1}\rceil \right)$$
$k$ 是第 1 步留下的条数，$r$ 是每步保留的比例。默认 $k=256$、$r=0.5$，所以第 1 步给全部历史打分后只用前 256 条算输出，第 2 步和第 3 步每步减半，只看前 128 条和前 64 条。

这样设计的好处在内存上。每一步看的历史都是上一步的前缀，取前 128 条就是从连续内存的开头读 128 条，不需要按索引去各处取数据。论文把这叫零开销的前缀截断。去掉逐步缩小、每步都看 256 条时，Recall@10 几乎不变，延迟从 62 涨到 65 ms/batch。这一项的收益不大，因为 SID 只有 4 个码，能缩小的步数少。

每一步为什么要单独一份 KV？

缩小预算后，后面几步看的历史是同一批的子集。但每一步要预测的码不同：第一个码定大类，最后一个码区分具体商品，需要从同一条历史里读出的信息也不同。PFA 给每个解码步单独一组 KV 投影参数，解码前把 4 份历史 KV 都算好。这样同一条历史在不同步里呈现不同的侧面。

这是 PFA 里对精度影响最大的一项。去掉它、各步共用一组投影后，工业数据集的 Recall@10 从 0.1695 掉到 0.1602，比完整 attention 的 0.1643 还低；延迟只少了 3 ms/batch。

实验：快了多少，准了多少

先看理论计算量。按上面的默认设置估算，PFA 的 attention 乘加次数约为完整 attention 的三分之一多一点，理论上快 2.65 倍；比动态 top-k 快 1.99 倍。论文把收益归到两点：所有 beam 和后续各步共用一份排名，不再重复挑选；预算逐步缩小，看的历史越来越少。

主实验在三个数据集上比了 8 个基线：Kindle Store（电子书）、Tmall（电商点击）和一个工业广告数据集，后者有约 3500 万用户、历史长度 512。下表摘工业数据集的结果。

PFA 在三个数据集、四个指标上都是第一，相对每个指标上最强的基线，Recall@10 平均高 5.75%，NDCG@10 平均高 7.18%。这说明“先看全再挑”比“解码前压短”更能保住有用的历史。

消融表把精度和延迟放在一起看更清楚（延迟单位 ms/batch，L20 GPU，每批 512 个用户）。

相比完整 attention，PFA 在工业数据集上快 1.45 倍，Recall@10 高 3.16%。各部件的分工也清楚：跨 beam 共享和逐步缩小主要省时间，几乎不影响精度；分步投影 KV 主要管精度。

什么时候建排名也做了对比（工业数据集，延迟单位 ms/batch）：

第 0 步就建，最快但精度最低；拖到第 2、3 步，精度只再涨一点，延迟却多出一半左右。这和前面的观察对得上：第 0 步注意力太分散，选不准；第 1 步已经收拢，所以选一次就够。

预算也不能砍太狠。$k$ 降到 192 时 Recall@10 几乎不变，降到 128 才明显掉到 0.1648，延迟却只比 256 时少 10 ms/batch。这说明适度删减历史只是去掉冗余，砍得太狠就会丢掉有用的偏好，作者因此取 256 作为折中。

线上做了 7 天 A/B，对照组是线上的生成式推荐，历史截断到 128 条；实验组用 PFA，历史加长到 512 条，各占 10% 流量。广告收入提升 3.76%，CTR 提升 0.34%，GMV 提升 2.56%。PFA 的线上响应时间是 11 ms，直接把 512 条历史放进去要 15 ms。这说明加长历史带来的收益是真的，而 PFA 让这份收益不用拿延迟去换。

我认为它的局限

第一，精度提升的来源要分开看。去掉分步投影 KV 后，工业数据集 Recall@10 是 0.1602，比完整 attention 的 0.1643 还低。也就是说，分步投影是 PFA 精度上最关键的一项，但现有对照拆不开它和稀疏各自的影响。想把两者分开，要自己补一组“完整 attention 加分步投影”的对照。

第二，线上延迟只和“直接用 512 条”比。论文给的是 PFA 的 11 ms 和完整 512 条的 15 ms。上线前更要紧的是加长历史后比现在 128 条的系统慢了多少，这要自己测。

第三，收益和 SID 长度强相关。逐步缩小只在第 2 步之后起作用，4 个码的 SID 只有两步能缩，所以去掉它延迟只多 3 ms/batch。码更短的系统收益会更小。论文说码更长时优势更明显，这个结论来自理论计算量的分析，实验里的 SID 都是 4 个码。

一个推荐/搜索团队可以怎么试

1. 先在现有生成式召回模型上复现那两张统计图：按解码步统计前 10% 历史拿到的 attention 权重，以及第 1 步排名和后面各步的 Spearman 相关。这一步不改模型，只看自己的数据是不是也有“越来越集中、排名稳定”的规律。
2. 规律成立的话，先做最便宜的版本：不改训练，推理时在第 1 步按生成概率加权汇总 attention，排出共用排名，后面各步只看前 k 条。离线比 Recall 和延迟，判断稀疏本身损失多少精度。
3. 再加分步投影 KV，这需要重新训练。和第 2 步的结果对比，就能把精度提升和稀疏的影响分开。
4. 最后把省下的延迟花在加长历史上，在线上做 A/B，同时记录对照组和实验组各自的响应时间。

结论

PFA 最值得带走的一点是：生成式推荐的逐步解码让注意力越来越集中，挑选可以只做一次，挑选的成本和内存的读取方式比计算量本身更决定实际速度。