CAMMSR 的核心启示在于：用户对不同模态信息（文本、图片）的偏好并非固定不变，而是随品类和上下文动态变化。MoE 结构天然适合处理这种异质性——不同专家负责不同模态视角的特征提取，通过类别信号引导门控实现自适应融合。对于社区搜索场景中帖子包含文字、图片等多模态内容的情况，该方法可直接借鉴：根据搜索 query 的类别动态调整对不同模态特征的关注权重，提升多模态内容排序的精准度。
问题与动机
多模态序列推荐面临动态、上下文敏感的用户-模态交互挑战。用户在不同个体间甚至同一用户不同物品上的模态偏好差异显著。现有模型采用静态融合策略，无法捕捉组合模态信号产生的协同效应——某些情况下单独模态无法触发兴趣，但组合后可以。
方法概述
CAMMSR 集成四个核心组件：使用预训练 BERT 和 ViT 的物品表示初始化；类别引导的注意力专家混合（CAMoE）通过 K 个专用 FFN 专家进行注意力路由；基于 Transformer 的用户兴趣学习（使用 DyT 替代 LayerNorm）；模态交换对比学习增强跨模态对齐。
核心技术贡献
- 类别引导的模态权重分配：首个利用辅助类别预测来动态分配模态权重的框架
- CAMoE 架构：通过拼接专家输入高效捕获多视角表示和模态间协同
- 模态交换对比学习：序列级数据增强增强跨模态对齐
- DyT 替代 LayerNorm：动态 Tanh 操作作为高效归一化替代
实验结果分析
- Toys 数据集：NDCG@5/MRR@5 = 0.0477/0.0421，分别提升 14.66%/15.98%
- Games 数据集：提升 6.67%/9.72%
- Beauty 数据集：提升 15.32%/21.04%（最大提升）
- Home 数据集：提升 10.53%/15.50%
- 噪声鲁棒性：30% 误导性类别噪声下仍保持优势（Toys NDCG@10: 0.0482 vs 去除类别引导的 0.0391）
- 收敛效率：最快收敛（Games 65 轮），单轮训练 84 秒
局限与未来方向
30% 误导标签导致 11% 性能下降；需要可访问的类别元数据（可用 LLM 生成虚拟类别解决）；偏好驱动数据集（Toys/Beauty）上优势更大，功能性数据集（Games/Home）上优势较小。
工业实践意义
CAMoE 的类别引导模态融合思路可用于社区搜索中图文内容的动态融合——根据内容类别自适应调整文本和图片特征的权重。MoE + 对比学习的组合在多模态推荐中是高效的实践方案。ICDE 2026 论文，学术认可度高。