LASER 将长序列建模从模型算法和系统架构两个层面协同优化，这一全栈思路对实际推荐系统极具参考价值。SeqVault 的 DRAM-SSD 混合存储方案为处理超长用户历史提供了可落地的工程范式，而 GSTA 的分段压缩+目标感知设计有效兼顾了序列长度和推理效率。对于社区搜索场景，用户在平台上的浏览、点赞、收藏等长期行为序列可通过类似方案高效建模，实现更精准的个性化排序。
问题与动机
现代推荐系统在实时建模超长用户行为序列时面临双重瓶颈：(1) 系统 I/O：获取数千条行为记录带来大量磁盘 IO、网络和序列化开销；(2) 模型计算：标准 self-attention 的 O(L²) 复杂度使实时推理变得不可行。传统方法要么截断序列（~100 条），要么使用两阶段检索管道（信息损失）。
方法概述
LASER 采用「先压缩后精化」策略：将用户序列分为固定长度段，每段通过分段目标注意力（STA）使用 sigmoid 门控聚合压缩；压缩后的段再通过全局堆叠目标注意力（GSTA）建模跨段依赖，生成精化表示用于 CTR 预测。配套 SeqVault 基础设施支持毫秒级长序列访问。
核心技术贡献
- SeqVault 服务：混合 DRAM-SSD 索引策略，检索延迟降低 50%，CPU 使用率降低 75%
- 分段目标注意力（STA）：用 sigmoid 替代 softmax 实现「静默机制」——不相关段趋近于零；低维投影降低计算成本
- 全局堆叠目标注意力（GSTA）：在压缩序列上操作，先执行全局变换再重塑的向量化实现替代逐段迭代
- 端到端系统设计：从基础设施到模型的完整方案，支持多场景统一长序列建模
实验结果分析
- 离线评测（小红书广告数据集）：LASER 达 0.7826 AUC（+0.24%），超越 DIN (+0.12%)、HSTU (+0.20%)、Transformer (+0.22%)；FLOPs 仅为 Transformer 的 1/9（4.0×10⁷ vs 3.6×10⁸）
- 在线 A/B 测试（7 天，10% 流量，1 亿+ DAU）：ADVV +2.36%，收入 +2.08%
- SeqVault 基建：CPU 核数减少 14.8%，CPU 使用率降 75%，P99 延迟从 3-5ms 降至 ~2ms，磁盘使用减少 45%
- 消融实验：时效性嵌入最关键（-0.09% AUC），多分辨率融合次之（-0.08%），sigmoid 优于 softmax（-0.03%）
局限与未来方向
优化针对特定工业场景（广告排序）；4000 条以上序列的扩展性未充分探索；非 CTR 推荐任务的效果未验证。
工业实践意义
LASER 是小红书在 1 亿+ DAU 上验证的端到端长序列解决方案。分段注意力的「先压缩后精化」设计在保持效果的同时将 FLOPs 降低 9 倍，是长序列建模的实用范式。SeqVault 基建设计（混合存储、schema 感知压缩）具有很强的工程借鉴价值。