WavePrune: One period is often enough for RoPE
WavePrune 针对 RoPE 周期性旋转产生的位置混叠,将每个通道的注意力限制在首个旋转周期内,并用硬件对齐 CUDA 内核利用细粒度稀疏性。无需额外训练时,Qwen3-8B 的 HELMET 得分从 35.7 升至 40.0;32K 上下文下,相对 FlashAttention-2,预填充和解码分别加速 1.15 倍、1.24 倍。
INSIGHT该方法把位置编码性质转化为可执行的稀疏计算策略,而非单纯降低模型精度。社区搜索若用长上下文模型处理候选集合或用户历史,可比较质量与时延的联合收益;五个模型只有四个获得 HELMET 改善,应先按模型、长度和检索任务验证,不能直接套用总体结论。