1. 问题与动机
电商搜索相关性中,传统判别式模型(如 BERT cross-encoder)能稳定处理 80–90% 的常规 query,但剩余 10%+ 的长尾、歧义 query 恰恰对应高意图、高转化的用户旅程,理解错误会直接拖垮满意度与相关性指标。论文指出现有 LLM+CoT 路线有两处具体缺陷:(a) 单视角推理无法覆盖电商相关性的多面性——用户意图、属性匹配、平台业务规则是三套不同判断逻辑;(b) 现有蒸馏在推理时丢弃 CoT 结构,把推理当作一次性辅助信号而非可持久化能力。作者用一个 oracle 实验量化了多视角的价值:三视角中“任一通过即算对”的多视角 oracle 准确率 77.52%,而单视角 User Intent 仅 64.61%、单视角 pass@3 也只有 72.59%——说明收益来自视角多样性本身,而非单纯多采几次。
2. 方法详解
MPCoT 三视角:User Intent(模拟买家直觉,关注使用场景与功能需求)、Structured Analysis(逐属性系统比对 query 与商品)、Business Rule(用启发式规则裁决常见歧义)。
SFT 阶段:用基座 Qwen3-14B 为每个视角生成 CoT,做一致性过滤(仅保留预测标签=ground-truth 的样本),把三视角数据聚合后用标准 NLL 损失微调(3 epoch,lr=5e-5,batch=32)。
DPO 阶段:挑出“至少被一个视角判错”的冲突样本,构造跨视角偏好对——失败视角的错误 rationale 作 rejected,三视角 pass@5 中正确的 rationale 作 chosen,标准 DPO(3 epoch,lr=5e-6,batch=64)。消融显示:必须先有视角对齐的 SFT 基础,直接对单视角 SFT 套多视角 DPO 会一致掉点。
LRKD(隐推理蒸馏):学生为 BERT-multilingual-base(168.15M)cross-encoder,输出 token 表示 H∈R^(L×d);一个可训练的隐推理抽取器 R(·)(试了 MLP / Poly-Encoder / GAT 三种)把 H 映射成隐推理向量 r_qp∈R^d;教师 CoT 文本用冻结的 BGE-M3 编码成 e_cot。双损失训练:分类用交叉熵 L_cls,引导用 MSE 对齐 ||r_qp − e_cot||²₂,合成 L_total = L_cls + λL_guide(λ=0.1)。学生训练 5 epoch、lr=2e-6、batch=256、输入 128 token。教师 Qwen3-14B 用 LoRA。数据:AliExpress ~10万训练/2万测试(6 类),ESCI 10万训练/1万测试(4 类 Exact/Substitute/Complement/Irrelevant)。
3. 核心技术贡献
(1) 多视角 CoT 替代单视角:把电商相关性拆成意图/属性/业务规则三套推理,oracle 上限 77.52% vs 单视角 64.61% 证明了多样性增益;MPCoT 教师较最优单视角平均 +1.96 ACC、+3.5 F1。机制在于不同视角对同一难样本的失败模式互补。
(2) 跨视角偏好构造的 DPO:用“某视角错 rationale”对“另一视角对 rationale”组偏好对,把视角间的纠错信号显式喂给模型,比单纯加正样本更有针对性。
(3) 隐空间持久化推理(LRKD):不在推理时展开 CoT,而是用一个非自回归抽取器把“推理”固化为 embedding 空间的一个向量,并用 MSE 向教师 CoF 嵌入对齐。probing 实验显示隐推理向量预测 CoT 关键词的 F1=0.403,远高于 [CLS] 的 0.221(相对 +81.8%,p<0.05),证明推理信息确实被编码进了隐向量。
4. 实验结果分析
离线(Table 1):AliExpress 上 BERT 基线 ACC/F1 = 53.17/49.34,最优单视角 SFT+DPO 64.83/58.26,MPCoT 教师 68.36/65.90,LRKD-GAT 学生 57.36/52.29。ESCI-US 上 BERT 66.83/41.38,MPCoT 教师 70.23/51.85,LRKD-GAT 学生 68.73/45.83,且优于蒸馏基线 CED-KD(67.49/43.71)、MKD(68.34/42.45)。综合:LRKD-GAT 较 BERT 平均 +2.37 ACC/+3.91 F1,较 MKD +1.15/+2.49,较 CED-KD +0.98/+2.5。
在线 A/B(AliExpress 搜索广告,10% 流量、7 天):RPM +1.42%、CTR +0.48%、相关性满意度 RS +0.4%,均统计显著。
效率(Table 2):教师 14B 推理 46,800ms/批,BERT 基线 132.22ms,LRKD-Poly 132.68ms(仅 +0.46ms、+0.03M 参数),LRKD-GAT 148.76ms——学生较教师约快 315×。消融(Table 4):去掉隐推理抽取器 -1.35~-1.49 ACC,去掉引导损失 -1.42~-1.98 ACC(引导损失影响更大),说明 LRKD 两个组件都不可省、且向 CoT 对齐的 MSE 是主要增益来源。
5. 局限与未来方向
论文没有专门的 Limitations 章节。从方法看,可见约束包括:(a) 视角只固定为三种,未分析换域时视角集合是否需重设计;(b) 一致性过滤依赖人工标注种子集,跨新域的泛化未验证;(c) 增益依赖具体抽取器结构——GAT 最优但延迟更高(148.76ms vs Poly 132.68ms),MLP/Poly 增益较小,存在精度-延迟权衡需按场景取舍。在线收益(RPM +1.42%)虽显著但量级温和,长尾难 query 占比小决定了天花板。
6. 工业实践意义
对社区搜索(UGC 短文本)最值得借鉴的是三点。其一,把相关性判断显式拆成多视角(社区场景可对应:用户意图、内容属性/话题匹配、社区运营/安全规则),离线用多视角 CoT 喂教师,能把长尾难 query 的判别上限抬高十几个点。其二,LRKD 给出一条“线上不跑 CoT 也能保留推理”的可落地路径:非自回归抽取器仅在 embedding 空间加一个向量,Poly 变体几乎零延迟开销(+0.46ms),完全满足精排前毫秒级约束,相比线上直接调 14B(46,800ms/批)不可行。其三,引导损失用冻结 BGE-M3 编码教师 CoT 再做 MSE 对齐,工程上简单且即插即用,可直接套在现有 BERT cross-encoder 精排器上。落地注意:教师质量靠一致性过滤+跨视角 DPO 保证,社区需自建多视角标注与业务规则集;GAT 抽取器精度高但 +16ms,若精排预算紧建议先上 Poly 变体做 A/B,再按收益决定是否换 GAT。