MuSeR: Scalable Long-sequence Recommendation with Multi-interest Modeling

原文：https://arxiv.org/html/2609.23677 。以下分析依据正文方法、部署和实验章节；社区搜索迁移方案属于本报告建议。

1. 问题与动机

MuSeR 面向百度 APP 首页、发现页和短视频推荐。用户可能累积十万条行为，但请求延迟预算使生产系统通常只保留数百条近期记录。这个截断不仅丢失长期偏好，还使不同模态、不同场景的兴趣被一个短期向量覆盖。论文同时指出稀疏物品 ID 缺少语义泛化，新内容和跨模态候选很难仅靠历史点击学习稳定表示。

因此问题并不是单独发明一个更强的序列编码器，而是使长历史、多兴趣、内容语义和召回服务一起满足生产约束。作者明确把贡献定位为系统集成，不将它包装成新的基础建模原语。其方法建立在 MGS 上，MGS 被描述为基于 HNSW、支持多目标搜索的 NANN 风格系统。论文认为，在通常小于 300 毫秒的生产 SLA 下，直接处理十万长度的 Transformer 不可行，必须将慢变化的长期表征移出同步请求路径。

这对社区 UGC 个性化具有参考价值：同一用户既有持续主题兴趣，也有当前查询或当次浏览意图；如果仅增加历史长度而不处理实时更新、内容理解和候选匹配，离线建模收益未必能转成线上效果。论文正是围绕这个完整链路设计压缩、查询头、缓存和图搜索。

2. 方法详解

第一步将历史按时间分为近期、中期和早期三段。近期保留原始物品粒度，中期每 16 个相邻物品池化，早期每 64 个池化，池化可采用求和或注意力。有效长度为近期长度，加中期长度除以 16，再加早期长度除以 64。压缩后的 token 由 ID 表征和位置表征相加，进入轻量 Transformer。它不是把所有旧行为同等平均，因此能够保留短期意图的细节，同时为长期兴趣维持较粗的统计结构。

第二步使用多查询注意力。M 个可学习查询分别对共享历史状态做缩放点积注意力，获得 M 个兴趣向量。给定候选物品，按候选与各兴趣的余弦相似度做温度 softmax，再聚合用户表征。训练目标用多个兴趣预测后续正例，与采样负例做对比学习，并加入兴趣间内积平方的正交惩罚，防止所有头收敛到同一偏好。需要区分 Transformer 内部的 8 个注意力头与提取用户兴趣的 6 个查询，它们不是同一个参数。

第三步加入内容语义。ERNIE-4.0-Turbo 生成内容的压缩语义视角，再将生成过程蒸馏到 ERNIE-Speed，以 BGE 编码摘要；物品最终表征是 ID 分支与语义分支分别经过线性投影后的相加。正文实验使用 BGE-base-en 的 768 维表示，适用时加入 Visualized-BGE/VISTA。把模型名称照搬到中文 UGC 并不能保证效果，应重新选择与内容语言相匹配的编码器并检查文本截断和摘要保真。

实验模型为六层 Transformer、隐藏维度 512、8 注意力头、dropout 0.1，使用 6 个兴趣查询，温度 0.07，正交系数 0.01。融合初始权重为 0.7/0.3 后端到端学习。训练采用 AdamW，学习率 0.0001，权重衰减 0.00001，1000 步 warm-up 后余弦退火，梯度裁剪 1.0；公开数据批量 256，工业数据批量 4096。使用混合精度，各方法运行五个种子。基础设施包含 PyTorch、Horovod/NCCL、TensorRT FP16、Redis、Kafka 和 Consul；训练列出 A100、H20 与昆仑 P800，异步长序列推理列出 A10，图搜索服务使用昆仑 R200。正文未给出统一总训练步数，不能估算精确复现成本。

3. 核心技术贡献

第一项贡献是将时间分辨率和异步更新结合。长期兴趣低频计算后写入缓存，近期兴趣高频更新；在线按负载与并发条件调整融合和异步刷新节奏。正文报告冗余编码最多减少 60%，但没有提供全部负载条件，因此这个上限不能直接用作容量规划承诺。压缩先解决模型输入规模，缓存再解决请求重复计算，两者作用不同。

第二项贡献是把多兴趣与候选感知匹配连接起来。六个查询共享历史编码，但正交项鼓励它们抽取不同方向，候选再选择相关兴趣。这样不同内容类型不必全部经过一个单一聚合向量。工业实验中，六头相对单头的召回增量在首页为 0.0286、发现页为 0.0358，发现页受益更大，与内容更异质、意图更快变化的场景相符。

第三项贡献是缓解索引距离与多目标评分不一致。索引按欧氏距离组织，而深度模型还评价语义相关、互动概率和转化潜力。作者采用分层 beam search：逐层扩展锚点，使用多目标评分重新排序，再调整束宽及扩展比例。正文声称相对传统平面 HNSW，延迟降低 27%、部署成本降低超过 35%；这些是系统比较结果，不能把差异全部归于一个兴趣抽取模块，也缺少绝对延迟表来判断本地预算。

4. 实验结果分析

公开实验使用 Amazon 2023 的 Instruments、Industrial & Scientific 和 Video Games 子集，做 5-core 过滤；按时间构建序列并截断或填充到 50，按 70%/10%/20% 划分。工业数据覆盖百度一个月的日志，约一亿用户、一千万物品，前 29 天训练、最后一天测试。公开设置不能单独证明十万条历史的效果，超长能力需要结合工业实验和部署描述判断。

下表整理公开数据 Table I 的 NDCG@10，数值均来自原文。

对最强基线的绝对提升较小，例如 Game 为 0.0007，因此需要保留作者五种子显著性检验信息，不能将所有离线收益泛称为大幅改善。公开表中 MuSeR 并非每个指标都标注显著，例如部分 Recall@10 和 Scientific NDCG@10 未标星。正文语言与表格标注的差异应以具体指标为准。

工业表中首页 MuSeR 两个召回指标为 0.0870 和 0.2232，发现与短视频为 0.1377 和 0.2534。消融给出更清晰的因果线索：不压缩的长序列首页得分 0.2351，截断短序列 0.1749，分层压缩 0.2232。压缩保留了多数长历史收益，但仍比完整序列损失 0.0119，它是一种质量与资源折中。加入内容语义后首页由 0.1636 到 0.2232，发现页由 0.1892 到 0.2534，相对改善分别约 36.4% 和 33.9%。这个多模态组件的消融效应大于公开表中整体对最强基线的优势，不宜把两类比较混用。

搜索策略消融中，暴力搜索首页为 0.2328、发现页 0.2671，beam search 为 0.2232 和 0.2534，说明效率改进仍有召回代价。压缩后长度从 600 到 1000 带来提升，继续到 1500 只增加约 0.0006–0.0007。兴趣数超过六个也趋于平台或下降，表明更多头和更长输入并不是无条件有益。

线上实验采用用户哈希固定分桶，对照与实验只改变召回通道，下游排序和混排保持相同。每个实验持续多周，每桶覆盖数千万日用户；首页 DAU 提升 0.26%、总会话时长提升 0.89%，正文报告 p<0.05。它提供生产验证，但不是搜索 nDCG 或 CTR 的直接结果，不能当作社区搜索预期提升幅度。

5. 局限与未来方向

作者没有独立的局限章节。结论提出未来研究自适应压缩、动态兴趣头分配以及十亿规模的召回与排序协同设计；这些方向说明当前实现依赖固定池化粒度和相对固定的兴趣数。正文也直接展示压缩相对完整历史存在准确率损失，beam search 相对暴力搜索存在召回损失，所以系统选择仍需按真实业务资源预算调整。

本报告发现需要复现时澄清的细节：正文讨论压缩长度约 1000，并给出近期 800、中期边界 2000 的配置，但将这些值直接代入十万历史和 16/64 池化公式，会得到不同的有效长度。因此实际部署还可能有额外截断或分段条件，不能只照抄公式宣称已覆盖十万行为。公开数据的长度 50、工业长历史的真实分布、缓存命中和刷新间隔也没有完整联合统计。正文不同段落对上线时间的表述并不完全一致，应将线上提升视为作者报告，而不补写未经证实的时间线。

6. 工业实践意义

社区 UGC 搜索可先借鉴模型的用户侧分工：主题、作者偏好与历史阅读方式形成低频兴趣缓存，近期点击与当前 query 形成实时意图；候选相关性仍由现有语义匹配保障。将候选感知用户表征接入 CTR 排序后，应分别报告总体 nDCG、CTR、冷启动帖子表现和兴趣多样性。用户长期偏好可能与明确 query 冲突，融合权重必须通过实验验证，不能让长期兴趣压过显式搜索需求。

实施顺序可以从最小可测改动开始：固定当前排序，先增加文本语义物品表征，再试多兴趣头，最后引入更长历史和异步缓存。每一步保持相同负例和切分协议，核验内容摘要不会泄漏后续互动标签。将摘要生成放在物品离线路径上能够避免请求调用大模型，但需记录文本生成时间、版本和内容更新失效规则。

缓存服务需要衡量陈旧度而不只命中率。记录兴趣表征年龄、用户最近活跃时间、实时与缓存分支的权重，以及峰值负载下的尾延迟；缓存缺失时保留可用的短期模型回退。召回索引若使用与最终评分不同的距离，应通过搜索宽度实验绘制真实召回质量、延迟和算力曲线，再判断 beam search 是否值得加入。

本文的工业意义在于展示这些模块能共同服务大规模推荐，并有在线业务指标支持。团队应采用它提供的模块边界与消融思路，结合中文短文本、查询强意图和本地硬件预算重做验证，避免将百度整套异构集群配置当成必要条件，或将其百分比收益直接用于自己的上线预测。