CAMMSR: Category-Guided Attentive Mixture of Experts for Multimodal Sequential Recommendation
针对多模态序列推荐中现有方法依赖启发式融合策略、无法捕捉用户-模态交互的动态性和上下文敏感性的问题,提出 CAMMSR。核心创新是类别引导的注意力混合专家 (CAMoE) 模块,从多视角学习专化的 item 表征并显式建模跨模态协同,通过辅助类别预测任务动态分配模态权重。同时引入模态交换对比学习增强跨模态表征对齐。在 4 个公开数据集上持续超越 SOTA 基线。被 ICDE 2026 录用。
INSIGHTCAMMSR 的核心启示在于:用户对不同模态信息(文本、图片)的偏好并非固定不变,而是随品类和上下文动态变化。MoE 结构天然适合处理这种异质性——不同专家负责不同模态视角的特征提取,通过类别信号引导门控实现自适应融合。对于社区搜索场景中帖子包含文字、图片等多模态内容的情况,该方法可直接借鉴:根据搜索 query 的类别动态调整对不同模态特征的关注权重,提升多模态内容排序的精准度。
问题与动机
多模态序列推荐面临动态、上下文敏感的用户-模态交互挑战。用户在不同个体间甚至同一用户不同物品上的模态偏好差异显著。现有模型采用静态融合策略,无法捕捉组合模态信号产生的协同效应——某些情况下单独模态无法触发兴趣,但组合后可以。
方法概述
CAMMSR 集成四个核心组件:使用预训练 BERT 和 ViT 的物品表示初始化;类别引导的注意力专家混合(CAMoE)通过 K 个专用 FFN 专家进行注意力路由;基于 Transformer 的用户兴趣学习(使用 DyT 替代 LayerNorm);模态交换对比学习增强跨模态对齐。
核心技术贡献
- 类别引导的模态权重分配:首个利用辅助类别预测来动态分配模态权重的框架
- CAMoE 架构:通过拼接专家输入高效捕获多视角表示和模态间协同
- 模态交换对比学习:序列级数据增强增强跨模态对齐
- DyT 替代 LayerNorm:动态 Tanh 操作作为高效归一化替代
实验结果分析
- Toys 数据集:NDCG@5/MRR@5 = 0.0477/0.0421,分别提升 14.66%/15.98%
- Games 数据集:提升 6.67%/9.72%
- Beauty 数据集:提升 15.32%/21.04%(最大提升)
- Home 数据集:提升 10.53%/15.50%
- 噪声鲁棒性:30% 误导性类别噪声下仍保持优势(Toys NDCG@10: 0.0482 vs 去除类别引导的 0.0391)
- 收敛效率:最快收敛(Games 65 轮),单轮训练 84 秒
局限与未来方向
30% 误导标签导致 11% 性能下降;需要可访问的类别元数据(可用 LLM 生成虚拟类别解决);偏好驱动数据集(Toys/Beauty)上优势更大,功能性数据集(Games/Home)上优势较小。
工业实践意义
CAMoE 的类别引导模态融合思路可用于社区搜索中图文内容的动态融合——根据内容类别自适应调整文本和图片特征的权重。MoE + 对比学习的组合在多模态推荐中是高效的实践方案。ICDE 2026 论文,学术认可度高。