Context-aware diffusion model for sequential recommendation

1. 问题与动机

CADiff研究扩散式序列推荐中的两个相互关联的问题。第一，已有方法往往把用户的长期兴趣和短期兴趣分别编码，用户特定表示无法读取历史序列中的上下文，因此长期兴趣容易退化为静态摘要。第二，扩散反向去噪需要条件引导信号，但已有方法通常对所有用户、所有行为场景使用同质化引导，默认长期与短期兴趣的贡献比例固定。论文用两个行为例子说明这个问题：看过Frozen、Moana 2、Zootopia和Mission: Impossible的用户，下一次更可能受长期动画偏好影响；而在短视频中，连续消费体育和音乐内容时，刚刚观看的音乐内容可能更能代表即时意图。

这类错误会在扩散模型中被放大。扩散推荐先把目标物品表示加噪，再在用户条件下逐步反向去噪；如果条件向量不完整或不符合当前场景，每一步的score估计都会沿着错误方向修正，最终生成的物品表示也会偏离用户意图。论文因此把核心任务定义为：让长期兴趣能够吸收结构化的序列上下文，同时让长期、短期兴趣在每个用户和每段历史上动态组合，而不是只追求更大的去噪网络。

2. 方法详解

CADiff的输入是用户交互序列和目标物品表示。论文沿用扩散式序列推荐的基本过程：先将真实目标物品嵌入作为干净变量，通过前向过程逐步加入高斯噪声；训练一个依赖时间步、用户历史和兴趣条件的去噪网络，预测并移除噪声；推理时从噪声出发，经反向过程得到候选物品的潜在表示，再与物品空间匹配。用户历史会先被切分为固定长度的子序列，模型以这些序列学习下一物品偏好。

第一项改动是Asymmetric Perception Encoding（APE）。模型新增一个user-specific token，用它表示长期兴趣，并把这个token与最近交互序列一起送入Transformer编码器。普通Transformer允许所有token互相注意，容易让短期行为反复吸收长期摘要，造成两个兴趣通道混合。APE施加非对称注意力掩码：交互物品token不能注意user-specific token，但user-specific token可以注意所有交互物品。结果是，user-specific token能够聚合完整序列上下文形成时间感知的长期表示；交互token仍然只在序列内部建模即时变化，避免长期向短期路径反向泄漏。

从实现角度看，APE不是简单的双塔。它共享序列编码器，但对注意力矩阵施加方向约束。长期token的更新可以读取所有历史项，短期项之间可以按Transformer规则交互，而短期项读取不到长期token。这个设计同时保留了两类表示的互补性与可分离性：长期表示不是无上下文的用户ID向量，短期表示也不会被一个粗粒度的长期摘要覆盖。

第二项改动是Adaptive Multi-Interest Fusion（AMF）。它读取APE得到的长期表示和短期兴趣表示，再通过上下文感知网络计算一组归一化融合系数。这些系数随用户和当前行为上下文变化，用于重加权并合成扩散模型的统一guidance signal。论文强调，系数不是一个全局超参数，而是当前序列条件下的相对贡献估计：动画偏好场景可以提高长期兴趣权重，短视频即时消费场景则可以提高短期兴趣权重。

在反向扩散中，条件信息决定score函数如何把噪声表示推向真实物品分布。AMF的动态引导使去噪轨迹与情境意图更一致，减少长期、短期信号冲突造成的方向歧义。与之相对，GCDR等已有设计采用相互独立的兴趣编码和固定引导，无法感知同一用户在不同场景下兴趣贡献的变化。论文页面公开了CADiff代码；但因出版页面的完整实验附表受访问限制，当前可获取正文片段没有展示优化器、batch size、扩散步数等全部训练超参，复现时需要以代码为准。

3. 核心技术贡献

第一，APE把“长期用户表示是否能理解序列上下文”从表示学习问题转成注意力流向问题。它只允许长期token读取行为序列，不允许行为token反向读取长期摘要，因而减少了长期与短期兴趣的过度混合。相较完全独立的长期/短期编码，这是一个结构级改动，而不是增加一层MLP。

第二，AMF把固定兴趣融合改为上下文条件融合。对推荐系统而言，兴趣不是静态比例：同一个用户在电影、短视频、新闻或电商场景中可能依赖不同时间尺度。归一化融合系数让扩散条件成为每个用户-序列对的动态状态，理论上可以降低反向去噪的条件不确定性。

第三，论文把表示建模和扩散条件连接起来。APE产生的长期与短期表示不是只用于离线分析，而是直接影响score估计和反向采样轨迹；AMF也不是输出层的加权平均，而是作用于生成过程的引导信号。因此方法把用户建模误差与扩散生成误差放到同一条链路中优化。

下面用结构对照总结论文的关键差异，其中“1/0”表示该能力是否具备，而不是性能百分比。

4. 实验结果分析

论文在四个公开数据集上评估：MovieLens、KuaiRec、Yelp和Book。它们覆盖电影评分、快手短视频、餐馆评论/签到和图书偏好，场景跨度大于单一电商日志；其中KuaiRec直接包含短视频交互，和短内容推荐的用户序列问题较接近。论文报告CADiff在多个真实数据集上优于现有方法，并同时提升准确率与个性化效果，但当前可访问的出版页面正文只暴露了数据集、模块和结论描述，没有公开完整的数值对比表，因此这里不臆造Recall@K或NDCG@K提升幅度。

从消融逻辑看，APE和AMF分别对应两个动机，应该按以下方式解释实验：去掉APE后，长期token无法从序列获取结构化上下文，长期兴趣会退化；去掉AMF后，模型会回到固定或同质化引导，无法响应不同场景下长短期贡献的变化。论文摘要和结论明确将两者都列为必要贡献，但可获取页面没有给出每个消融项的具体百分点，因此只能确认方向，不能把“显著提升”改写成未经证实的数值。

方法上的一个重要结果是“长期兴趣也应当是时间感知的”。传统长期画像往往把历史行为压缩为静态向量，CADiff让user-specific token读取整个交互序列，借助注意力消息传递得到带上下文的长期表示。另一个结果是“上下文决定融合比例”：例如动画电影案例更依赖长期主题，体育/音乐短视频案例更依赖近期内容，AMF把这种差异编码为归一化系数。

论文的效果边界也值得注意。扩散模型通常需要多步采样，生成式序列推荐的离线准确率提升不能自动转化为线上吞吐提升；四个公开数据集也不能覆盖社区UGC中的文本语义、内容生命周期、曝光偏差和实时用户反馈。尤其是MovieLens、Yelp等数据更多是评分或交互记录，和生产CTR日志的曝光-点击选择机制不同。因而CADiff的实验更适合作为用户状态建模和条件融合的证据，而不是直接证明可在毫秒级精排中部署。

5. 局限与未来方向

论文明确讨论的不足集中在既有扩散式序列推荐的兴趣编码和引导机制，针对自身的线上限制、训练成本和隐私风险披露较少。当前可获取的正文片段未给出完整的优化器、批大小、扩散步数、单次请求延迟、显存占用或线上A/B数据，这些都是从研究原型走向工业系统必须补齐的信息。模型依赖固定长度子序列，超长用户历史如何分层采样、如何增量更新兴趣状态，也没有在页面片段中得到充分说明。

未来可以沿三个方向推进：将AMF融合系数做成可解释的用户状态监控；用蒸馏、少步采样或候选集约束替代全量生成；将APE的非对称注意力迁移到CTR/排序模型，让现有判别式系统先受益，再评估是否值得引入扩散生成。对UGC平台，还需要把内容文本、时间衰减、负反馈和曝光策略一起纳入条件建模。

6. 工业实践意义

最可落地的不是立刻把精排换成扩散推荐，而是复用APE的注意力流向和AMF的动态融合。社区搜索或推荐可以维护两类用户状态：长期主题/作者/内容类型偏好，以及当前会话的短期意图。通过一个共享序列编码器加非对称mask，让长期token读取历史而不让每个短期token被长期摘要污染；再用轻量门控网络根据query、当前帖子和最近行为计算长短期权重。

在工程上，建议采用渐进式方案。第一阶段只把APE输出作为现有CTR或nDCG排序模型的用户特征，保持候选集与在线召回逻辑不变。第二阶段在候选集内做AMF融合，用离线回放比较固定权重、用户级权重和上下文级权重。第三阶段才评估扩散生成：限定生成结果必须映射回可服务候选，控制采样步数，并对冷启动用户回退到内容和群体特征。

评估要同时看准确率、覆盖、多样性、长尾曝光和延迟。CADiff的四数据集证据说明模型能处理不同交互场景，但没有线上A/B数据，所以不应直接承诺CTR或留存提升。对社区UGC尤其要注意兴趣漂移：热点事件会让短期兴趣快速变化，AMF应允许短期权重快速升高，也要有时间衰减避免一次误点击永久改变用户画像。最后，扩散模型增加了采样和向量匹配成本，适合先放在离线候选增强或低频场景，在线高QPS精排应优先采用APE/AMF的轻量判别式版本。