CASI: Credit Assignment via Set Intervention for Agentic Retrieval

原文：https://arxiv.org/html/2610.20293 ，正文第3—4节及附录A—I。以下数值来自作者报告，未独立复现实验。

1. 问题与动机

一个社区查询可能同时生成五个改写，各自召回不同候选，然后统一去重、排序。最终点击或广告收益属于整个集合，很难直接回答哪条改写应该得到奖励。某条改写单独使用时可能表现好，但与另外四条合并后只重复已有结果；反过来，一条单独收益不高的改写可能补齐关键意图。CASI 研究的是这种集合内部的上下文依赖贡献，而不是一般意义上的逐步推理过程奖励。

作者特别澄清，共享一个最终奖励并不意味着原有策略梯度估计失效：对固定集合目标，广播奖励仍有标准的得分函数梯度解释。真正缺失的是在不同其他动作组合下的边际收益信息。只看独立收益 Singleton 或移除一个动作的 LOO，仅观察了空集和其余动作全集两个端点。论文证明，动作数至少四个时，这些端点通常不能确定 Shapley 分配；若收益完全可加，则额外子集评价没有信息价值。这使研究问题从“奖励不够细”变为“额外评估是否包含真正有用的交互信息”。

2. 方法详解

策略对输入一次生成动作集合 A，每个动作只检索一次，缓存它召回的候选。对任意子集 S，系统重新组合相应缓存候选，固定能回放的环境状态，得到可比较的子集收益。这里固定的是可回放快照，不能固定的线上因素仍在反事实构造之外。训练时不重新让模型生成，也不重新调用检索器，因此子集间变化主要来自选择了哪些检索路及其候选合并结果。

必须区分两个评分路径。离线审计使用竞价回放，收益是竞价阶段 eCPM 与 send 标记乘积之和；send 集合不等于最终线上曝光。回放本身可能波动，作者通过重复运行构造参考。训练中为每个子集做完整竞价回放成本过高，因此使用冻结评估器：主实验后端先处理完整候选池，再通过过滤缓存下游结果计算子集收益。敏感性后端则对子集重新执行下游排序。这两者定义的是不同代理集合函数，并非一个必然更接近真实世界的修正版。

有了每个非空子集的代理收益，就计算各动作加入不同前驱集合时的收益变化。Shapley 权重为“前驱规模阶乘乘剩余规模阶乘，再除动作总数阶乘”，相当于平均随机排列中该动作出现时的边际贡献。空集按约定价值为零，不查询评估器。五动作时共有31个非空子集，可批量评分；Broadcast、Singleton、LOO 和完整 CASI 分别需要1、6、6、31次冻结评估器评分。它们都只需一次模型生成和五次缓存检索，31次评分不能写成31次线上检索或竞价回放。

信用值不直接替代整条轨迹的奖励。作者先在每条生成内部减去平均信用，再用整个 rollout group 共享的标准差缩放。之后把向量投影到“各项总和为零、每项绝对值不超过 κ”的集合，具体做法是对各项减去共同阈值 λ 后裁剪，并用单调二分搜索 λ，使裁剪后仍保持总和为零。独立裁剪无法保证零和。每个动作对应的 token 使用“原轨迹优势加 β 乘投影偏移”，共享推理和格式 token 保持原优势。

这样各动作优势的算术平均仍等于原轨迹优势，但不意味着策略梯度完全相同：不同动作 token 对应的得分函数不同。这是结构化优势分配，而非因果 token 归因。β 为零时退化为 Broadcast。更大动作集合可用附录D的排列采样估计，避免指数枚举。

训练对照中各策略均训练500步、使用五个独立种子；最终在同一组1,000个留出请求上回放完整五动作集合。正文未提供足以完整复现的模型规模、优化器、batch size、学习率、硬件和训练总数据规模，不能为补足实现说明而自行推测。

3. 核心技术贡献

第一，论文用固定快照和缓存候选建立可比较的集合干预。相较只把一个回报平均分给所有动作，它补充了反事实子集信息；相较单独检索每个子集，它减少了环境漂移和重复取数。Shapley 本身是已有方法，新的核心在于工业检索路径上构造它需要查询的集合函数。

第二，理论上明确了端点观测的局限。保持单元素集合、全集减一和全集价值不变，只修改一个中间大小的子集，就能改变某些动作的 Shapley 值。这解释了为什么“独立有效”和“在完整集合里不可替代”不是所有情境的充分统计量，也解释了可加情形下没必要支付额外开销。

第三，零和有界优势整形保留轨迹层面的平均系数，同时重新分配动作内部训练压力。共享 group 缩放避免逐轨迹归一化抹掉相对信用幅度差异；投影同时控制极值和零和约束。其价值不是宣称无偏恢复线上因果贡献，而是把相对信用稳定地接入已有优化器。

第四，作者将证据拆成集合结构审计、信用参考对齐、跨种子策略回放、线上随机实验四层。训练评估器下，CASI 与回放 Shapley 参考的中位余弦为0.4237，而 Singleton 为0.3877；但换后端后这一优势消失。这种反例约束了方法结论，避免把某种分配规则的参考一致性等同于普遍真实性。

4. 实验结果分析

离线集合审计先抽样1,200个请求，再枚举31个非空子集，每个子集至少回放三次；其中50个请求增加至七次，总计117,800次回放。按请求 bootstrap，而不是把同一请求的多个子集当独立样本，也不根据全集是否产生收益事后过滤请求。参考取可用重复回放的中位数，以减少单次执行波动。

这一结果是在1,171个可定义相关统计量的请求上得到的。参考本身就是 Shapley，所以该对比是在检验所选分配语义的一致性，不是对所有归因规则中立的“真实动作贡献”评判。敏感性后端中 CASI 为0.6011、Singleton 为0.6029，CASI 反而略低。额外查询中间子集不能自动修复评估器的偏差。

这里加减号表示五个训练种子的标准差。CASI 相比 Singleton 的回放价值差为11.70，95%区间为6.26至17.14，反映固定留出集上的训练种子变化，不涵盖所有未来流量分布变化。尤其值得注意，Broadcast 和 Singleton 的完整集合价值均低于 SFT 初始化；优化一个看似合理的局部或共享奖励，可能让策略退化。不能只报 CASI 赢过弱化后的 RL 基线而忽略 SFT。

主后端的信用对齐还随前驱子集规模扩大而变弱：单元素加入空集的中位余弦为0.5027，加入四动作前驱集合时仅0.1316。这提示下游过滤与真实竞价之间的误差具有结构，完整组合附近的差分更难估计。附录的相关误差零假设审计使用870个请求，观测 CASI 相对 Singleton 的差为0.0359，而特定可加、相关残差机制给出的95%区间为-0.1231至-0.0685；它排除了这一特定解释，不能证明所有评估器误差都无关。

线上七天随机试验分配10%生产流量，约覆盖一亿观测。相对生产对照，广告主价值提高3.51%，搜索广告支出增加5.08%；复杂意图覆盖由30.86%变为32.58%，首屏覆盖由16.32%变为16.99%。覆盖变化只是与机制一致的诊断，不能当作线上增益的因果分解。试验比较的是完整 CASI 策略与生产控制，没有在线隔离 CASI、Singleton、Broadcast 三种信用构造的独立贡献。

5. 局限与未来方向

作者在方法、审计边界与结论中反复限定：冻结评估器仍可能错误，CASI 只是对这个函数查询更多子集；回放参考不是经校准的生产真实效用；无法回放的生产因素没有被控制。后端更换后归因优势消失，是论文自身结果，而非读者追加的泛泛担忧。精确枚举也只在五动作规模验证，大集合需要近似采样与额外方差控制。

历史曝光值审计进一步说明落差：3,540个匹配且可回放请求中，仅1,438个回放竞价为正，其上回放与历史值的 Spearman 相关为0.346。真实上下文比打乱上下文提高竞价激活率，但在两种上下文均为正的700个请求中，条件排序差异区间跨零。请求上下文影响是否激活，并不等于它已可靠重建所有价值排序。

作为读者判断，公开训练细节不足会限制独立复现；线上仅有一个广告搜索部署，尚不能据此断言社区自然搜索质量或用户满意度必然改善。下一步值得比较不同评估器的成本、偏差与真实在线价值，并在自然搜索中验证信用结构是否仍有显著非可加性。

6. 工业实践意义

对 UGC 社区搜索，最先可做的是对现有查询改写或子问题分解做离线集合审计。保存同一请求的每路候选、去重结果、排序快照和标注版本，比较单路、两路和完整集合，量化互补、冗余及下游容量竞争。若近似可加，Singleton 已足够，31次子集评分可能浪费；若有强交互，再试 Shapley 类归因。

业务目标应由社区实际场景定义。广告 eCPM 和广告主价值不能替代 nDCG、CTR、无结果率、证据覆盖、重复帖子率和用户满意度。可以对复杂查询增加必要条件覆盖指标，但要与最终排序或回答质量共同观察，避免模型用多路低质量扩召回获取局部奖励。线上实验需区分自然结果与商业收益，防止一个指标上涨掩盖另一项体验损失。

工程上，额外成本主要来自训练或离线评分，缓存检索候选后无需每个子集重新取数；但论文没有给出可直接移植的时延、显存和硬件数值，因此不能宣称零开销或任意规模可部署。要估计候选合并、评分批处理、缓存存储与采样近似的真实成本，并检查线上推理路径是否仅替换了策略模型。

小规模试点可保持 SFT 初始化，固定数据和评估器，对 Broadcast、Singleton、CASI 做同预算、多种子对照，完整报告 SFT 是否被后训练损坏。再用生产流量做随机实验，先确认改写质量与相关性不退化，再观察 CTR 和满意度。本文最有价值的实践结论是让并行召回的训练信号承认集合交互，同时始终保留对评估器与回放真实性的独立审计。