Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning

全文来源：arXiv HTML，重点依据第3—5节与附录B；作者为 Spotify 与 Cambridge 研究人员。本文区分日志回放、模拟交互和真实线上实验，下面的数字均按论文原有评估口径解释。

1. 问题与动机

推荐一次内容后，用户可能隔数天才再次消费，长期留存又可能在数百次互动后才能观察。传统折扣回报以时间距离决定早期动作初始获得的信用，容易把近期但无关的内容当成主要贡献者。作者用播客发现新节目后持续收听的例子说明：最初的推荐可能很重要，却在普通时间衰减中失去训练信号。研究的出发点是让策略利用已经发生的行为之间的解释关系，而不是完全依靠反复试错学习这种关系。

EWM 与通常预测未来状态的世界模型不同，它回看真实轨迹，回答某个结果为何发生。与 LaRe 用语言模型构造潜在奖励表示、再训练解码器拟合回报不同，EWM 不生成新的业务奖励，而是把已有外部奖励移到更能解释结果的历史事件上。解释图不绑定某个奖励定义，因此改换留存或互动目标时可以复用。对于社区 UGC 搜索，这提供了把早期有价值的内容触达与后续回访联系起来的训练思路；论文并没有直接验证社区搜索 nDCG 或 CTR。

2. 方法详解

输入为按时间排列的事件轨迹以及需要解释的实际结果。语言模型输出之前事件的索引、贡献权重和简短解释，形成结果节点指向历史节点的图。实验使用 Claude Sonnet 4.5，一次调用生成整条轨迹的直接解释图，之后的递归由程序执行，不随深度再次调用模型。解释只能引用已观察的事件，不能加入虚构动作。

守恒层级算子 CHO 先从原位置移除结果奖励。对每个解释节点，只保留时间上更早、未访问且权重达到阈值的前驱；将剩余权重除以局部权重和，再按比例拆分当前奖励。如果某个前驱也有解释，则继续递归。达到最大深度、无合格前驱或遇到已访问节点时，把剩余奖励存到当前节点。每次拆分的份额和等于进入节点的奖励，因此未折扣的全轨迹奖励总量不变。这里的守恒不意味着折扣目标完全相同，策略仍可在重分配后的序列上使用折扣。

离线 KuaiRand 实验使用固定1000个会话，按存储顺序分为700个训练、300个评估。每个输入包含用户历史和候选视频文本，Qwen2.5-1.5B-Instruct 生成 like 或 skip 答案，只在答案 token 上计算交叉熵。解释变更的是样本权重，真实互动标签保持不变。最多选择5个贡献步骤，权重先归一化为会话奖励；无有效贡献时奖励留在末步。之后用0.95折扣计算回报，把回报除以温度5、裁剪到[-20,20]并取指数，再把全局样本权重规范到均值约1，得到加权答案损失。

所有条件共享模型和数据，使用3个种子、1个epoch、batch size 4、AdamW学习率1e-5、零weight decay、梯度范数上限1、bfloat16。学习率先以0.03比例warmup，再余弦衰减到初始值的10%；最终快照为5423优化步，最大输入4096 token。相应实验段未给出足够的GPU配置和总标注成本，不能据此估算完整训练预算。

3. 核心技术贡献

第一，解释与价值分开。图中关系表达历史事件怎样解释结果，奖励函数则决定结果价值。与直接让模型评分内容不同，这允许在同一缓存图上比较不同奖励目标或递归深度，减少重复调用开销。但图的可信度仍依赖解释器，奖励守恒本身无法保证归因正确。

第二，CHO 将自然语言解释变成可执行、局部归一化的训练信号。时间顺序、访问集合和阈值保证传播只落到合格历史节点；递归提供跨中间事件的远距离传播。论文Crafter终止奖励实验中，最长1000步条件的EWM约为LaRe的2倍，说明优势在长延迟设置中更明显，而不是单纯增加训练轮数。

第三，作者把解释要求作为实验变量，比较中性B、反事实HP、难以任意替换的D、广度LB、简洁性LS和组合LI。所有提示共享输入输出接口，改变的是什么算作好解释。LB带来最大的平均AUC增益1.99个百分点，却没有相应的最大Top-K排序收益，证明不同归因偏好会改变优化方向。

第四，解释还可导出固定动作约束。KuaiRand模拟器中，EWM发现近期推荐与候选标签重复会引发用户离开，随后把规则执行为动作mask。这个实验验证了“解释→规则→策略系统”链条，不能把结果全部归给CHO。论文附录对此做了明确区分，实践中也应分别做消融。

4. 实验结果分析

KuaiRand离线评估使用300个保留目标进行AUC与log loss计算。排序只针对其中213个正反馈用户，每个目标与99个未见候选竞争，报告HR@10、HR@20、NDCG@10和MRR。每种方法先在同种子内与Uniform比较，再对3个差值取均值；误差条为一个标准误，不能当作95%区间。LB的AUC提升1.99个百分点，log loss下降0.00501，但NDCG@10差值接近零，MRR稍负；LaRe在四种排序指标上与Uniform的平均差异最大。作者据此指出候选对判别与Top-K次序是不同任务，这对以nDCG为主指标的搜索系统很关键。

模拟交互的具体结果如下，±表示3个种子摘要的样本标准差：

最近5步规则同时提高会话长度与每步收益；全历史约束主要通过拉长会话提高累计回报，每步收益反而低于Vanilla。作者解释它会禁止部分实际上允许且高收益的候选，所以同样到达30步也弱于Oracle。社区搜索不能只检查回访或会话时长，还需避免把点击质量下降掩盖在更长会话中。

模拟训练由5成员DeepFM提供反馈，评估改用MF奖励矩阵。A2C共享64、64两层网络、actor和value head，优化器学习率0.001、折扣0.9；100个epoch，每epoch目标10000环境步，100个并行环境、batch 1024。规则在训练与评估都生效，报告取epoch76—100均值，再汇总3个种子。这是模型化用户反馈，不是真实用户A/B。

工业生成式推荐采用保留日志回放：模型生成slate，若命中实际服务过的推荐才记对应结果，未命中计零。相对SFT，Recall为3.75倍，95%bootstrap区间[2.62,5.79]；后续至少一次播放的Converted为3.86倍[2.11,10.0]；至少两次播放的Broad reach为4.00倍[2.18,11.5]。这些是相对倍率，论文未在表中给出绝对基线，因此无法判断绝对增益或真实反事实收益。命中概率变化也会影响结果，不能当作新增留存的因果证明。

5. 局限与未来方向

正文没有独立的limitations章节，以下限制来自作者对实验协议与结果的具体说明。KuaiRand互动结果依赖DeepFM和MF模拟反馈；提升属于带动作mask的系统，并非奖励重分配单项的证明。全历史规则的过度限制会漏掉高奖励推荐，作者明确讨论了这一失败模式。离线固定会话分割与99个采样负例限制了排序评估的外推范围，AUC改进不能保证完整候选库Top-K改进。

工业评估只度量日志中已执行动作的复现与后续结果，非日志动作记零，尚不能回答新策略实际改变用户行为的幅度。附录MovieLens还说明使用全局90/10随机分割，而非按时间或用户分割，并且MF评估器与DeepFM训练器都拟合同一90%数据。作者给出了这些边界，部署决策必须保留它们。额外的工程判断是：归因器一致性、标注成本以及恶意内容对解释的影响尚需业务专门验证，不应写成论文已经解决的问题。

6. 工业实践意义

对社区短文本搜索，优先可尝试离线训练链路：从曝光、点击、跳过和回访构造时间轨迹，要求解释器引用事件ID，检查时间与索引后缓存图，再比较原始训练、统一权重与CHO权重。短期先保持相关性模型和真实点击标签，在用户时间切分的评估集上检查nDCG、CTR校准与长尾覆盖，再决定是否把长期奖励用于生成式推荐策略微调。

奖励位置变化与奖励定义变化应分别记录。解释图可用于回访、持续阅读等不同目标，但这只减少重复推理，不保证解释跨目标始终成立。需保存解释提示、模型版本、阈值、深度、被拒节点和奖励守恒检查，以便追查某条内容为何得到高权重。论文提供了足够具体的局部归一化与fallback规则，适合先在小规模历史日志上复现。

在线请求无需直接调用解释LLM：离线标注结果可作为训练权重，规则则编译为mask。论文没有给出搜索线上p99时延、解释服务QPS或GPU内存，不能承诺零系统成本；应把模型API标注费用、日志存储和训练开销一起计入。特别要防止全历史硬屏蔽造成覆盖损失，可以先离线测算允许集合变化，而不是直接照搬视频标签重复规则。

最后，不能根据工业回放3.75倍Recall宣称CTR也会等比例增长。本文最有价值的实践结论是：可解释的历史关系能改变长期奖励的训练落点，而业务成效仍必须在真实UGC搜索条件下分别验证。下一步实验应同时保留短期相关性护栏与长期行为指标，才能确认这种归因是否帮助用户更快找到有价值的内容。