1. 问题与动机
PRISM 关注电商/社区搜索系统的一个长期被忽视的核心问题:用户行为信号并不是"用户偏好"和"商品相关性"两个独立可学习信号的简单叠加,它们在曝光机制、反馈回路、语义匹配三重作用下被深度纠缠并动态漂移。具体表现是:(1) 偏好估计被曝光偏差扭曲——用户只能在被推荐到的商品中给反馈;(2) 相关性建模被用户的隐式偏好污染——同一个 query 不同用户点击不同商品;(3) 二者沿时间动态漂移使得静态去偏方法失效。现有 IPS、CLK/NISE/DCMT 等去偏方法把偏好和相关性建模为独立组件再各自加 debiasing constraint,无法捕捉它们之间的因果交互。论文核心立场是:必须显式建模 preference-relevance 的交互,而非把二者当成独立 head 相加。
2. 方法详解
PRISM 由三个紧密耦合的模块构成,最后通过可学习的交互函数输出 CTR:
(a) Preference Rectification Module(偏好纠偏模块):把原始偏好 𝐩 和相关性 𝐫 投影到同一 attention 空间,计算 relevance→preference 路径 e_rp 和 self-preserving 路径 e_pp,softmax 归一化得到系数 α_rp、α_pp,残差更新 𝐩_edit = 𝐩 + Δ𝐩。两条正则约束保证修正不过度:幅度惩罚 ℒ_mag = ||Δ𝐩||²₂(避免大改),方向惩罚 ℒ_dir = 1 − cos(𝐩_edit, 𝐩)(保留语义方向)。
(b) LLM-Driven Semantic Anchoring(LLM 语义锚定):用 BGE-base-en-v1.5 编码 query-item 的正例/负例 prototype 𝐫_pos、𝐫_neg,把学到的相关性表示投影到 prototype 空间 𝐫_proto = f_proj(𝐫),再用 margin loss ℒ_pr = max(0, γ − t_i·Δs_i) 监督其与正/负 prototype 的相似度差。这一步把 LLM 的语义先验作为外部锚点,防止相关性表示在长期训练中漂移到统计相关而非语义相关的方向。
(c) Preference-Conditioned Evidence Routing(偏好条件证据路由):从 query、item、user 及两两交互构造 6 个 evidence token(𝐞_q、𝐞_t、𝐞_u、𝐞_qt、𝐞_qu、𝐞_ut),以 edited 偏好 𝐩_edit 经过 𝐖_qr 投影后的 𝐪_r 为 query 在 evidence 上做 attention,输出 𝐜_route = Σ α(𝐞)·𝐞;再通过修正网络给出 s'_rel = σ(logit(s_rel) + δ_rel)。Entropy 正则 ℒ_att = −Σ α(𝐞)·log(α(𝐞)+ε) 防止 attention 塌缩。最终预测 ŷ = g_θ(s_pref, s'_rel)。
总损失:ℒ = ℒ_bce + λ_mag·ℒ_mag + λ_dir·ℒ_dir + λ_pr·ℒ_pr + λ_att·ℒ_att,超参 λ_mag=1e-4、λ_dir=1e-3、λ_pr=0.1、λ_att=1e-4。
训练设置:在 KuaiSAR(25,877 users / 2.01M items / 3.17M interactions)和 JDSearch(12.14M items / 15.51M interactions)两个公开电商搜索数据集上,按时间顺序 8:1:1 划分。relevance backbone 试了 DSSM/QEM/HEM,preference backbone 试了 MLP/DCN,跑遍所有组合验证泛化性。
3. 核心技术贡献
(1) 首次把 preference-relevance 纠缠建模为可学习的交互,而不是用各自独立的 debiasing constraint 处理。Preference Rectification 模块的残差结构有意限制 Δ𝐩 的幅度和方向,保证修正可控,这是与传统 IPS/DCMT 方法的本质区别。
(2) 用 LLM prototype 给相关性建模提供语义锚:margin loss 形式把 BGE 的语义先验注入 query-item 相关性表示,相当于免费引入一个稳定的去偏教师,对长期训练中的"指标 hack"特别有用。
(3) Evidence Routing 将"用什么证据"从手工特征工程升级为基于偏好的可学习路由:6 个 evidence token 涵盖单源和交互源信号,让模型按 query 自适应选择,可视为搜索版的 Mixture-of-Evidence 设计。
(4) 三组件互补:消融显示去掉任一组件都有约 0.4% AUC 下降,且 prototype 监督单独贡献 +0.4% AUC,说明三个机制是必要而非冗余。
4. 实验结果分析
KuaiSAR (DSSM+MLP) 主表:
| 指标 | Base | 最强基线 (DRP) | PRISM | 提升 |
|---|---|---|---|---|
| AUC | 0.62741 | 0.62877 | 0.63422 | +0.55% |
| LogLoss | 0.34473 | 0.34429 | 0.34199 | −0.67% |
| NDCG@10 | 0.48120 | 0.48234 | 0.48775 | +1.12% |
| HR@10 | 0.87362 | 0.87342 | 0.87571 | +0.26% |
在工业 CTR 场景,AUC 提升 0.5% 通常对应明显线上收益。
JDSearch (DSSM+MLP):AUC 0.70876 vs baseline 0.69311,+2.26%——比 KuaiSAR 提升更大,作者归因于 JDSearch 数据规模和噪声更高,纠偏空间更大。
消融:移除 Preference Rectification 模块带来最大降幅(约 0.4% AUC),LLM prototype 监督贡献 +0.4% AUC,证据路由模块贡献 +0.3% AUC。
频次切片:PRISM 在 hot/tail 切片均稳定优于 baseline,最大增益出现在 query-tail impressions(AUC 0.62248 vs 0.61603,+0.65%)——这一点很关键,说明纠偏对长尾 query 帮助更大,符合"长尾样本曝光偏差更严重"的直觉。
Backbone 鲁棒性:在 DSSM/QEM/HEM × MLP/DCN 的 6 个组合上 PRISM 都稳定优于所有基线,没有 backbone-specific 调参。
5. 局限与未来方向
作者明确承认:(1) 代码暂未公开,需等待 review 后释放;(2) 没有线上 A/B 测试结果,所有结论都在离线公开数据集;(3) 评测维度仅限 AUC/NDCG/HR/LogLoss,没有用户满意度等业务指标;(4) 多行为场景(曝光-点击-加购-购买全链路)的适用性是未来工作。论文未充分讨论但实际存在的隐性局限:BGE prototype 一旦更新所有上游 relevance head 需要重训,工业部署成本不小;evidence token 数量固定为 6 个,是否需要随业务扩展是开放问题。
6. 工业实践意义
对社区搜索/电商搜索团队,PRISM 提供三个直接可借鉴的设计选择:
第一,preference 与 relevance 不能用两条独立 head 直接相加。 传统精排架构(user tower + item tower + dot product + 单独的 relevance score 加权)天然假设两者独立,PRISM 的实验说明这个假设在 KuaiSAR/JDSearch 上能带 0.5%–2% AUC 的空间。落地上最低成本的改造路径是:在现有精排模型的 logit 层之前加一个轻量 preference rectification 模块(一个 attention + 残差),即可获得大部分收益。
第二,把 LLM 当成"语义 prototype 教师"而非生成器是更稳定的工业路径。 PRISM 用 BGE 提供固定的正负 prototype,相当于免费获得一个不漂移的去偏锚点,相比"用 LLM 直接打分"成本低一两个数量级,对延迟敏感的精排尤其友好。社区搜索可以用同样思路给 query-doc 相关性 head 加 BGE 锚定。
第三,长尾 query 是真正的纠偏价值所在。 PRISM 在 query-tail 切片增益最大(+0.65% AUC),这暗示工业部署收益与长尾流量占比正相关。对于头部 query 占主导的成熟搜索产品,建议先在小流量长尾切片上 A/B;对于长尾分布严重的社区搜索/UGC 搜索,PRISM 可以作为优先落地的候选。
部署考量:模型推理增加约一个 attention block 的开销,对精排可控;离线训练需要 BGE 一次性编码所有 query-item prototype,是一次性成本;prototype 缓存可以做版本化管理。