AIMS：把误导历史转化为间隔监督

原文：When History Misleads: Asymmetric Margin Supervision for Instruction-Guided LLM Generative Recommendation。以下依据正文第2—4节及附录B—D；工业实验是离线生产日志评估，论文没有报告线上A/B收益。

1. 问题与动机

指令驱动的生成式推荐同时接收当前请求与用户历史。理想分工是请求规定当前可接受的内容，历史帮助在合格内容中个性化选择；实际模型却可能让旧偏好覆盖新约束。论文用“看过炖排骨、现在想要30分钟以内的素食晚餐”说明：历史可能提高三小时牛肉炖菜的分数，压低符合请求的鹰嘴豆意面。

作者先审计冻结的Llama-3.1-8B与Gemma-3-12B，在1,600个训练请求、47,972个历史事件上区分影响力和目标效用。遮蔽某事件引起首个SID token分布变化很大，并不意味着该事件支持真实目标。影响力与效用绝对值的Spearman相关为0.300/0.167，与带符号效用仅为0.045/0.002。选择影响力最大事件，支持事件比例较随机选择仅增加0.24/0.42个百分点，95%区间均含零。因此注意力或预测敏感性不足以判断应该保留哪条历史。

另一障碍是目标得分上升仍可能伴随排名恶化。对初始未命中请求挑选目标提升最大的删除操作后，11.8%/16.7%的请求反而缩小目标与竞争项间隔，重新解码仅恢复1.08%/1.50%的top-10命中。动机因此落在请求条件下的相对排序监督，而非简单删去显眼历史。

2. 方法详解

AIMS沿用LLM生成语义标识符的框架。每件物品由三个SID token表示，每层码本2,048个码字，共向模型词表加入6,144个token。工业数据复用生产SID前三层；Qilin及KuaiSearch-Lite分别以Qwen3-Embedding-0.6B编码物品文本，再训练三层RQ-VAE。各数据集SID固定，并由所有对照方法共享。

先把基础LLM训练为SID生成器，再对“请求、历史、目标”做交叉熵微调，得到冻结参考模型，同时初始化学生。参考模型用完整历史生成候选列表；真实目标已经位于top-10的训练请求形成保护集合。每个受保护请求固定初始第11名为竞争项。分数是teacher forcing得到的完整三token对数概率之和，间隔是目标分数减竞争项分数。

默认逐条删除一个历史事件，维持请求及其余事件顺序。每个删除视图计算目标得分变化和间隔变化，只有两者都超过1e-4 nats才合格。在合格视图中取最大间隔增益，加到完整历史原有间隔上，形成缓存的反事实目标。没有合格删除时增益置零，仍保留该请求的保护资格。保护集合、竞争项身份和目标间隔仅离线计算一次，训练期间固定。

学生始终看到完整请求及历史。所有训练样本接受目标SID的交叉熵；只有保护集合中的样本增加非对称竞争抑制损失ACS。其核心可写成 max(0, 反事实间隔 - 0.01 - stop_gradient(目标分数) + 竞争项分数)，损失权重1.0。当前间隔不足时，辅助梯度仅通过竞争项，推动它降低；目标仍由交叉熵学习。停止梯度仅切断该辅助分支，共享参数更新仍可能改变目标分数，不能理解为目标完全固定。

附录报告全参数调优与AdamW。工业数据学习率1e-5、全局batch 128、2,500次更新，历史长度30；Qilin学习率2e-6、batch 8、39,806次更新，历史长度20；KuaiSearch-Lite学习率2e-6、batch 32、37,268次更新，历史长度20。所有实验使用每节点八张A100 80GB的多节点集群，但正文没有列出各实验实际节点数。工业推理采用SID约束beam search，beam为100；公开基准对释放的候选池逐项评分。部署不需要参考模型或逐条删除历史，使用原解码器和完整输入即可。

3. 核心技术贡献

第一，论文把“事件会改变预测”与“事件支持目标”明确拆开。前者是无标签的分布敏感性，后者需要真实点击目标，且随当前请求改变。方法不试图在在线无标签条件下推断万能的历史价值，而在训练标签已知时，把请求特定的负面影响转成监督。Generic-matched消融保留增益分布却换成泛化请求构造的分配，工业Llama的Recall@10从7.223%降至7.138%，支持请求本身的重要性。

第二，反事实视图产生学习目标，而不替换训练输入。这样学生学习在完整历史下达到更好的相对排序，既减少历史误导，又保留对其他请求有用的信息。把删除视图供给辅助分支或所有损失的匹配消融，Llama的Recall@10分别为7.106%和7.045%，均低于AIMS的7.223%。对照匹配了初始化hinge差距，但作者明确没有匹配后续训练动力学。

第三，ACS把交叉熵目标学习与竞争项压制分开。相同前向hinge下只更改梯度流向，可以直接检验机制：目标侧更新为6.895%，双侧更新为6.955%，竞争项侧更新达到7.223%。这里并非主张所有负例都应强力压低，而是只监督参考模型已命中样本的边界竞争项，并允许0.01 nats容差。

第四，保留一个竞争项与单事件删除的轻量离线设定。扩大删除预算到三条或平均最多五个竞争项，仅带来有限Recall变化；多条删除最多增加到2.9倍评分视图。作者因此保留默认配置，避免为很小增益付出更高反事实构造成本。

4. 实验结果分析

工业数据使用连续三天训练日志，隔一天后再用单日评估，目标为真实点击物品。Qilin来自含中文真实查询和笔记曝光的搜索子集，使用39,931/4,093个训练/开发请求和6,192个官方测试请求；KuaiSearch-Lite最终含257,780/28,781/8,456个点击为正的训练/开发/测试请求。两套公开数据保留所有点击为相关项，工业数据每请求一个目标。

下表指标均为百分数；公开数据采用候选池排序，工业数据采用全库SID约束生成，不应比较不同数据集的绝对数值。

跨六个骨干、三个数据集，AIMS的Recall@10和nDCG@10均为最优，相对匹配的继续交叉熵训练，Recall@10提高4.0%—10.9%。但是相对最强其他基线收益更小，例如工业Llama-8B只多0.087个百分点。不能把相对CE的提升描述成对既有最佳方案同等幅度的超越。论文采用10,000次按用户聚类的成对bootstrap检验，并报告三种训练种子重复实验。

删除选择消融支持间隔约束：只挑目标分数提升最大的删除，在Llama/Gemma上合格删除覆盖为75.9%/66.1%，挑影响力最大事件仅为28.8%/25.9%；AIMS为88.2%/85.7%。对应Recall@10，目标提升优先为7.091%/8.426%，影响力优先为7.063%/8.312%，均低于7.223%/8.609%。去掉干预增益的R-comp仍有收益，但干预增益解释了总提升的71%/49%，说明既有命中保护与请求特定增益都贡献效果。

历史与请求冲突较强时收益更明显。至少一半可评价历史违反明确类别约束的请求，Recall@10较CE提高0.558/0.874个百分点，整体测试集为0.321/0.664个百分点；输出槽位确认违反约束的比例由29.0%/25.4%降到21.6%/18.3%。保护训练集合的选中删除有80.9%/83.8%移除违规事件，比按历史构成计算的随机期望64.0%/67.2%高约17个百分点。但这些是观测性分组比较，不是随机干预证明。

一个值得注意的结果是收益主要来自初始漏召回的恢复：恢复贡献了Llama/Gemma总收益的68%/85%，尽管ACS直接作用于初始已命中的训练请求。作者将其解释为边界竞争抑制可迁移到其他请求，仍需与事实证据区分。50%历史dropout未复现收益，且交换其他用户的匹配历史会降低AIMS表现，说明它没有仅仅学会忽略历史。

5. 局限与未来方向

作者明确把固定竞争项间隔视为解码决策的代理，而非top-10命中保证。其他候选项和beam输出仍会影响最终列表，一对分数关系不能代表全库排序。ACS还依赖参考模型的初始命中集合，参考模型错得太多时，保护监督规模和覆盖会受限制。

附录指出公开基准候选池度量可能偏离全库排序。小于40项的释放池通过训练曝光记录补足，采样不使用点击标签并由请求ID固定，方法间可比较，却不是原始曝光系统或全库结果。冲突分析也被标记为观测性比较，违规标签和分组不能直接建立因果结论。

正文没有单独的局限章节，没有公布在线A/B、在线延迟和完整训练费用；不能由“推理流程不变”推出生产延迟必然完全相同。读者可进一步检验参考模型更弱、SID冲突更大、连续历史分布漂移及多约束查询下的稳定性。这些是实践验证方向，不是作者已经完成的结果。

6. 工业实践意义

对社区UGC短文本搜索，AIMS的直接切入点是已有个性化生成式检索器：输入包含当前query和点击历史，输出帖子或问答的SID。先按查询类别、时效、内容形式等显式约束构建诊断子集，比较“保留历史”与“删除单条历史”对目标和边界竞争项的变化，避免用注意力权重当作历史价值标签。Qilin的中文笔记搜索实验比电商实验更接近本仓库场景，但仍需要本地日志验证。

可先冻结现有模型和SID，离线缓存初始top-10保护集合、第11名竞争项及双条件合格删除的最大间隔。训练改动集中在交叉熵旁增加一个竞争项hinge，线上继续使用原历史和解码器。这样验证成本主要进入离线评分而非用户请求链路；历史长度30时，逐事件干预需要较多评分视图，应测量吞吐、GPU显存和缓存占用，论文未提供可直接套用的总成本数字。

上线前应同时检查整体及冲突子集的nDCG、Recall、CTR、显式约束违反率和不冲突用户的体验。文中没有CTR或线上A/B提升，日志点击学习效果不能自动转成真实商业收益。也不要删除所有与query冲突的历史：某条行为对当前请求无益，仍可能对另一请求有用。保留完整输入并学习何时压制边界竞争项，正是本方法最适合试验的部分。

实施时最容易混淆的是梯度和分数：stop-gradient不代表前向目标得分消失，也不代表共享参数不再更新目标；评估必须保持SID、训练步数、batch及候选池一致，才能知道收益来自ACS而非更多训练或更有利负例。建议以原CE、R-comp、双侧梯度及历史dropout作小规模匹配对照，确认自己的UGC系统存在论文诊断的失败模式之后，再承担全量反事实缓存成本。