MURAL: Multimodal Uncertainty-aware Recommendation via Adaptive edge Learning

1. 问题与动机

MURAL 关注多模态推荐中的两个问题：物品图过于固定，以及模态信号质量不同。常见系统先用图像或文本向量计算余弦相似度，构造一张训练中不变的物品图。但内容相似不一定等于用户愿意共同消费；如果图完全追随已有交互，又可能只复制原来的协同拓扑，不能帮助稀疏物品发现新邻居。论文将后一种现象称为图的“镜像效应”。

另一个矛盾来自模态融合。短视频的热门背景音乐可能被大量不相关内容复用，标题和评论可能稀疏，图片也可能受噪声污染。把这些模态等权相加，会让低可靠性的信号影响协同推荐。作者因此把“某个模态是否与推荐相关”和“该模态当前是否可靠”分别建模，再与可学习的物品连边结合。

这一问题和社区 UGC 的联系在于，图文帖、短视频及评论具有不同程度的内容噪声与行为稀疏性。需要保留边界：论文评估的是用户—物品推荐，没有直接解决查询理解或 query-document 相关性，因此它更适合作为个性化候选或排序特征的补充，而不能直接替代搜索相关性模型。

2. 方法详解

每种模态先经编码器和线性投影映射到统一维度，再做 L2 归一化。正文允许使用冻结的预训练特征，也讨论轻量适配；实验实际利用预提取文本、图像和音频特征。用户与物品另有从交互图学习的协同向量 h。模型用加权和把物品的模态向量与停止梯度的行为向量结合，得到面向行为的模态表征。两项系数之和为一，其中行为混合系数只由结构对比损失更新，避免主推荐损失把它推向容易利用的捷径。

构图分两步。第一步在融合物品向量上建立 FAISS HNSW 索引，为每个物品取 Kr 个近邻候选，避免全量两两比较。实验每 10 个 epoch 重建一次索引；中间的 epoch 固定候选集合，但边权仍持续更新。第二步按模态分别使用小型 MLP 为候选边打分，输入拼接两个物品的行为对齐模态向量和两个原始行为向量，共 4d 维。保留评分最高的 km 条边，再在邻域内做 softmax，得到稀疏邻接矩阵。

这里需要区分离散候选检索与可学习边权。HNSW 搜索、候选重建和 top-k 选择本身不能被简单描述为完全可微的检索流程；模型明确学习的是被保留邻域内的打分和结构权重。邻接权重还有熵项 sum(A log A)，最小化该项能抑制分布过尖，减少邻域退化为单一连接的倾向。

Uncertainty-Aware Fusion 对每个物品、每种模态学习两类量：注意力 alpha 衡量相关程度，正数 sigma 衡量不确定性。融合向量按 alpha/sigma² 加权求和，因此重要但不可靠的模态仍会被降权。实现以 log(sigma²) 作为参数，并初始化为零，使初始逆方差权重为一。注意力由多模态向量与行为向量经过小型 MLP 后归一化得到；整体损失还包含 log(sigma) 项，具体数值约束和稳定性应在复现时检查。

模型将用户—物品交互图与多张物品—物品模态图归一化后加权组合。模态图放在完整图的物品子块，用户相关的其他位置为零。图传播采用 LightGCN 式更新，最终对各层表示取平均，也可通过跳连混入融合内容向量。用户与物品的内积给出偏好分数，主目标为 BPR 的正负物品成对排序损失。辅助项包括行为—模态 InfoNCE、跨模态 InfoNCE、邻域熵和参数正则。

实验设置为 PyTorch、Adam、学习率 0.001、batch size 1024、隐向量 64 维、Xavier 初始化。Kr 在 100–1000 中搜索，km 在 5–150 中搜索，对比与熵项权重在 10^-5 到 1 之间调节。论文未清楚披露具体 GPU、统一训练总步数、每组数据的完整最佳配置与训练时长，因此不能据此估算上线前需要多少 GPU 小时。

3. 核心技术贡献

第一，可学习的邻域修正使内容图与行为监督协同演化。HNSW 先控制候选规模，小型边打分网络再利用内容和行为共同选择连接。TikTok 上完全去掉边学习后 Recall@20 从 0.1221 降到 0.0778；但固定余弦边的版本已经达到 0.1180。因此，大部分收益首先来自增加有效物品连接，动态打分相对强静态构图还有进一步收益，不能把两者混作同一个改进量。

第二，把重要性与可靠性分开。仅注意力的版本为 0.1165，仅不确定性版本为 0.1178，完整模型为 0.1221，支持两项信号互补。它并没有证明学习到的 sigma 就是任意分布下校准准确的概率不确定性，证据主要来自排序指标和受控噪声注入实验。

第三，行为信号充当内容分支的稳定参照。去掉全部对比损失后 TikTok Recall@20 为 0.1059；去掉行为分支梯度截断后为 0.1091。对于已有较稳健协同底座的系统，这提示接入语义表征时，损失作用在哪个分支可能与额外网络容量同样重要。复现仍需逐一确认梯度路径，尤其是边打分网络再次使用行为表示的部分。

4. 实验结果分析

三个数据集分别为 TikTok、Amazon-Baby 和 Amazon-Sports。用户数依次为 9,319、19,445、35,598；物品数为 6,710、7,050、18,357；交互数为 59,541、139,110、256,308。它们能够测试高稀疏度下的多模态推荐，却不能被等同于 TikTok 或 Amazon 的实际生产规模。论文采用全量未交互物品排序，没有用采样测试负例替代全量评估。

以上为原文表 2 中的均值。MURAL 每项运行五个随机种子，表中其标准差均小于 0.003，作者报告相对最强基线的改进达到 p<0.01。TikTok Recall@20 比 DiffCL 高 0.0063，按相对值计算约为 5.44%。Baby 与 Sports 上最强的 Recall 基线为 AlignRec，完整模型分别增加 0.0060 和 0.0046。比较时必须按数据集选取基线，不能只挑最弱的 LightGCN 展示夸大的增幅。

消融呈现更具体的规律。TikTok 上等权融合为 0.1153，去掉行为—模态对比为 0.1107，去掉跨模态对比为 0.1181，说明此处行为对齐贡献比额外跨模态约束更大。移除邻域熵项后为 0.1140，同时去掉熵与不确定性则为 0.1119。正文以此解释结构噪声与内容噪声需要不同的处理，但未提供所有交互组合的完整统计检验，不能把各消融损失直接相加。

噪声实验向 20% 物品的视觉特征注入高斯噪声。干净数据中平均视觉不确定性随训练下降，污染数据中相应值上升，展示了逆方差降权如何响应合成污染。图 2 的模态占优比例还显示 TikTok 的视觉信号逐渐主导，文本和音频贡献被压低。这是该数据集现象：对文字为主的社区搜索，不能提前规定视觉也应拥有最高权重。邻居数增加会先带来收益，超过峰值后又因弱相关边增加而退化，参数选择应兼顾图覆盖和噪声。

5. 局限与未来方向

作者明确列出的未来方向包括，将不确定性建模扩展到用户一侧，以及研究更长训练时间范围内图邻居的演变。当前 sigma 是物品与模态层面的量，还不能表示不同用户对同一模态可靠性的差异。论文也承认对比项、熵项和邻居数量的最优设置依赖数据集，需要校准。

以下是本解读对实验边界的补充观察。文章没有线上 A/B、端到端服务延迟或大目录下的训练吞吐实测。所谓可扩展性主要基于复杂度分析和一万量级物品的离线数据，不能直接外推到千万物品。对于完全新物品，逐物品不确定性参数如何初始化、是否可以从内容预测，正文未给出完整部署方案。只展示高斯特征噪声，也不足以覆盖真实 UGC 中缺图、错配标题、营销文本等各种噪声。

此外，正文称多模态基线普遍超过 LightGCN，但表 2 中 TikTok 的 MMGCN Recall@20 为 0.0664，低于 LightGCN 的 0.0730。实践阅读应以逐项表格为准，避免沿用概括过强的文字。这个差异也说明，加入模态并不自动保证收益，构图、损失和原始特征质量都需要受控比较。

6. 工业实践意义

社区 UGC 可以从图文帖或内容稀疏子集开始试验：固定现有协同训练样本，分别使用无物品图、静态余弦图、可学习图，再比较等权融合、纯注意力与注意力加不确定性。优先记录用户分桶、长尾内容、模态缺失和污染条件下的 Recall、nDCG 与负反馈，避免只观察平均指标。对纯短文本场景，多模态价值较弱，先确认文本和行为之间确有可互补信号。

在线链路可优先消费离线生成的用户与物品向量，动态图构建、HNSW 重建和模态编码放在训练或批处理侧。原文将 ANN 的摊销复杂度写为 O(N log N)，但边打分还有 O(M·N·Kr·d)，图传播随交互边和模态邻边增长；实际成本不能只引用前一个式子。上线评估应同时测量索引刷新时间、向量新鲜度、候选召回率及内存。

每 10 个 epoch 重建索引是原文训练设置，不等同于适合生产的十天或十小时更新频率。社区热点更新更快时，需要用真实事件时间衡量索引陈旧程度，再决定刷新预算。梯度截断和邻域熵项值得作为独立实验因素，但需要警惕强热门信号持续强化已有曝光。将这些机制接到社区搜索上属于工程迁移建议，不能把论文离线 Recall 增幅直接转换成线上 CTR 目标。

原文：MURAL 完整论文，重点为第 3–5 节和表 1–3。所有性能数字取自正文；规模限制与部署建议已单独标明。