Screening Is Enough
该论文指出标准 softmax attention 的核心缺陷:无法定义绝对 query-key 相关性,只能基于相对分数分配注意力权重,无法显式拒绝无关 key。提出 Multiscreen 架构,引入 screening 机制——对每个 key 评估是否超过显式阈值,丢弃不相关 key 后聚合剩余信息。实验显示比 Transformer 基线减少约 40% 参数达到相当 loss,支持更大学习率,在 100K 上下文长度下推理延迟降低最高 3.2 倍。
INSIGHT从相对相关性到绝对相关性的范式转变对搜索排序有深刻启示。传统排序模型在候选集质量差异大时容易给低质量文档分配不必要的注意力。Screening 机制的硬阈值过滤思想可迁移到搜索场景的多阶段排序中——在精排阶段显式过滤低相关候选而非仅重排,有望提升排序效率和结果质量。40% 参数减少和 3.2 倍推理加速的数据也很有吸引力。