02 3.75
反事实解释告诉用户,删掉哪些历史行为,这条推荐就不会再出现。问题是在 MovieLens-1M 上,想把排第一的电影挤出前 5 名,往往要删掉十几到几十条看过的电影,这么长的清单用户看不出原因。作者让 LLM 当中间人,从要删的电影和其余历史里各抽一些、只给年份和类型,让它用一句话总结要删的那批有什么共同偏好。打分时要求这句话和要删的电影对得上,同时和其余历史对不上,否则就是一句对谁都成立的空话。再用 DPO 按这些分数训一轮,正确性几乎在所有设置下都提升。解释好不好,很大程度取决于上游的反事实方法,ACCENT 和 SPINRec 给出的删除清单最短,总结出来的话也最准。
03 3.75
用 LLM 模拟电商用户,常见做法是根据历史行为和当前页面直接预测下一步动作。可同一件打折商品,在意价格的用户看到的是机会,在意品质的用户可能觉得质量一般,光看行为记录分不出这两种人。ShopMind 给每个模拟用户维护一份随浏览更新的心理状态,记下对商品的看法、还没打消的疑虑和眼下的打算,挑下一步动作时先往后推演,再用真实轨迹训出的打分模型挑最像真人的那个。和最强基线比,个性化指标好 18.0%,整段购物轨迹的真实度好 19.6%。更有用的是副产品。用合成的成对数据训一个从行为反推心理状态的模型,加进真实淘宝日志上的 CTR 预估后 AUC 提升。让大模型零样本直接猜心理状态,CTR 预估反而变差。
04 3.55
用药推荐要从病历里给出一组药,常见做法是把相似病人的处方搬过来。可两个相似病人一个用了 B 和 C,一个用了 B 和 A,整张处方搬过来就会带进证据很弱的药。EviDrug 把判断落到每一种药上,先用病人自己的历史和检索到的相似病例给出初始处方,再按每种药各自的证据对分数做有上限的修正。另一处设计针对药物相互作用(DDI)的惩罚。训练中按阈值切出处方集合,统计真实的 DDI 率,每轮据此调整惩罚力度。在 MIMIC-IV 上 AP 比最强基线高 2.26 个百分点,和只训预测相比,测试集 DDI 降了 9.0%,AP 和 F1 几乎不变。平滑的代理损失在变,按阈值选出的那组药可能根本没变。
05 3.45
用药推荐的评测通常只看漏没漏。漏掉一种药,不管预测集合里有没有同类的替代药,都算同样的错。CSC 借药物分类树(ATC)给每个漏掉的药打严重度,集合里有同一小类的药就罚得轻,只有分类上相距很远的药就罚满分。然后在训好的模型分数上用校准集挑一个全局阈值,让测试病人的平均严重度不超过给定的容忍度,模型不用重训。在 MIMIC-IV 上容忍度设 0.25,实测平均严重度是 0.2439。作者也写明,按分数取 top-k 并把集合大小对齐时,平均严重度反而更低。它的用处是阈值能直接由风险容忍度定出来,同样预算下并不挑得更准。把类目树上的近邻错误和远处错误分开算,推荐评测也能借用。
06 3.45
解释一个预测,有一种带保证的做法是找出最少的一组特征,把它们固定住后其余特征怎么变,预测都不变。对一般神经网络这件事算不动,对完全不含特征交叉的加性模型(NAM)却很好算。作者证明,哪怕只允许固定阶数的交叉,最坏情况下就和一般神经网络一样难,需要指数次验证器调用。退路有两条,交叉结构足够稀疏、彼此重叠有限,或者换个更严格的定义、把交叉项拆开单独验证,这时都只需线性次数的调用。在九个表格数据集的二阶模型上,稀疏版本的解释都比贪心删特征的基线小,差距最大的 HELOC 上只用 21.1% 的特征,基线要 55.2%。解释变难的根源就在特征交叉,想要可证明的解释,交叉就得设计得稀疏。
07 3.45
个性化打分模型常要在用户只答了一部分题时先给预测,比如根据一位医生已给的一半症状评分,预测其余条目。问题是,剩下没答的那些会不会把当前预测翻过来?作者借了选举唱票的思路,领先者在剩余选票怎么分配下都赢,就可以提前宣布。只要完整模型对每条回答的贡献是相加的,每条缺失回答各自取最坏情况就能算出精确下界,不用枚举组合。在 108 位医生的评分数据上,有一半历史时能这样确认的预测只有 5.4%。先补那些最能收窄最坏情况的回答,同样预算下升到 13.7%。确认的只是和补全后的模型一致,并不等于预测正确。这类证书适合用来决定什么时候可以停止追问。