On the Efficiency of Sequentially Aware Recommender Systems: Cotten4Rec
Cotten4Rec 提出用线性时间复杂度的余弦相似度注意力替代传统 Softmax 注意力,通过优化的 CUDA kernel 实现序列推荐模型的效率提升。在三个基准数据集上,相比 BERT4Rec 和 LinRec,显著减少 GPU 内存占用和运行时��,同时仅有微小的精度损失,为资源受限的大规模推��场景提供了实用方案。
INSIGHT该工作揭示了序列推荐中注意力机制的效率瓶颈:标准 Softmax 注意力在长序列场景下计算代价过高。余弦相似度注意力的线性时间特性使其在中等序列长度和词表规模的数据集上特别有效。对搜索排序系统而言,当需要建模用户长期行为序列时,可以考虑这种轻量级注意力替代方案,在不显著损失效果的前提下大幅降低在线推理延迟。