SOLAR: SVD-Optimized Lifelong Attention for Recommendation
SOLAR 利用推荐系统中矩阵天然的低秩结构,提出 SVD-Attention 机制,在理论上对低秩矩阵无损,保留 softmax 的同时将注意力复杂度从 O(N²d) 降至 O(Ndr)。实现了终身(Lifelong)用户行为序列建模,能处理超长序列而不需截断。
INSIGHT推荐系统的用户-物品交互矩阵本身就是低秩的,利用这个先验通过 SVD 分解降低 attention 复杂度,是序列建模 scaling 的一个优雅且理论扎实的方案。
业务关联社区搜索中用户历史行为序列往往非常长(浏览、点击、搜索历史),SOLAR 的 SVD-Attention 可以在不截断的前提下高效建模全量用户行为,提升个性化排序效果。
证据理论证明 SVD-Attention 对低秩矩阵无损,复杂度从 O(N²d) 降至 O(Ndr)。来自快手团队(Kuaishou),作者阵容表明已有工业实践基础。