Gated Bidirectional Linear Attention for Generative Retrieval
生成式检索用 encoder-decoder:encoder 编码用户交互历史,autoregressive decoder 生成推荐 item。大规模流媒体里活跃用户历史极长,softmax attention 随序列长度平方增长,使 encoder 成为延迟瓶颈;实验发现 encoder 用双向 attention 能显著提升质量,但多数次平方 attention 只针对 causal。GBLA 提出线性时间的双向 linear attention,在 kernelized linear attention 上加三个轻量组件:局部 causal 混合(Conv1D)、序列级 key gating(软遗忘)、gated RMSNorm 输出。在 Yandex Music 上,按 1:2 交错 self-attention 与 GBLA 的 hybrid encoder 可匹配双向 self-attention 质量;H100 上序列长 32768 时单层相比 FlashAttention-v3 提速 8.2×,在公开 Amazon 数据上同样保持检索质量。
INSIGHT当用户历史长到几万 token,生成式推荐 encoder 的平方复杂度是真实落地瓶颈,GBLA 给出“双向 + 线性”的解法——既要双向 attention 的质量,又要线性复杂度的延迟。1:2 混合(1 个 self-attention 后接 2 个 GBLA)这种配方很实用:少量全 attention 块保住质量,多数线性块压成本,32768 长度 8.2× 提速直接转化为可服务更长历史。对需要编码超长行为序列的召回/推荐系统,这是把生成式检索推到长序列场景的可行工程路径。