From Reasoning LLMs to BERT: A Two-Stage Distillation Framework for Search Relevance
面向电商搜索相关性在毫秒级延迟约束下的落地,提出两阶段蒸馏:先用预训练+SFT+偏好优化构建领域自适应的推理教师 LLM,生成高质量相关性标签;再用 Contrastive Reasoning Self-Distillation 把推理决策内化进一个紧凑 BERT,学生在推理时无需显式推理路径。在美团搜索广告系统的离线评测与线上 A/B 上多项指标显著提升(摘要未给具体数字)。
INSIGHT核心是 Contrastive Reasoning Self-Distillation——允许教师与学生架构不同(生成式 LLM → 判别式 BERT),蒸馏的是“为什么相关”的对比信号而不仅是硬标签。社区搜索相关性同样卡在线上算力:可复用此路径,用推理 LLM 离线标注难样本与对比理由,再蒸馏进线上 BERT 精排,相比线上直接用 LLM 打分可省约 10–100 倍算力。