Beyond Dense Connectivity: Explicit Sparsity for Scalable Recommendation
发现工业 CTR 模型中大部分学到的连接权重趋向于零、仅少数权重显著,揭示了稠密架构与稀疏推荐数据之间的结构性失配。提出 SSR (Explicit Sparsity for Scalable Recommendation),采用 filter-then-fuse 机制:Static Random Filter 实现高效结构稀疏,Iterative Competitive Sparse (ICS) 实现自适应维度选择。在公开数据集和 AliExpress 十亿级数据集上验证,SSR 超越基线模型,且在模型规模增大时保持优于稠密模型的 scaling 特性。
INSIGHTSSR 揭示了一个重要发现:工业推荐模型的稠密连接多数是冗余的,稀疏化不仅不损失精度还能带来更好的 scaling 特性。filter-then-fuse 的两阶段稀疏策略提供了一种实用的模型瘦身方案:先用随机过滤快速筛除无效连接,再用竞争稀疏精选重要维度。对于需要持续扩大模型规模的排序系统,这一方法可显著降低计算开销同时保持甚至提升效果。