HiSAC: Hierarchical Sparse Activation Compression for Ultra-long Sequence Modeling in Recommenders
HiSAC 针对超长用户行为序列在生产环境中受延迟和内存限制、难以端到端建模的问题,提出分层稀疏激活压缩框架。它把交互编码为多层 Semantic ID,构建全局分层码本,再通过投票稀疏激活个性化 interest-agents,并用 Soft-Routing Attention 在语义空间聚合历史信号。论文称已部署在淘宝“猜你喜欢”首页,线上 A/B 测试获得稳定 1.65% CTR 提升。
INSIGHT这篇论文把长序列推荐的关键矛盾拆成“压缩成本”和“长尾偏好保真”两件事,工程价值很直接。相比粗暴截断最近行为或固定兴趣中心,分层码本加稀疏激活能让系统按用户自动选择粒度,保留低频但高价值偏好;对 UGC 社区的帖子点击/停留建模,也可以借鉴这种 interest-agent 设计来压缩长期互动历史。