HARNESS-LM: A Three-Phase Training Recipe for Harnessing SLMs in Sponsored Search Retrieval
面向赞助搜索召回,大型 SLM 检索器(如 Qwen3-Embedding-4B/8B)在公开榜单上很强但难以在高吞吐、低延迟线上部署。作者提出 HARNESS-LM 三阶段训练:(1) 微调十亿参数级 SLM 作为高性能 teacher 检索器;(2) 用 L2 目标对齐 query 表示,把知识蒸馏进 <600M 参数的 student 编码器;(3) 用对比学习做最终精炼。论文系统比较了关键设计选择,给出在延迟敏感环境下兼顾检索质量与成本的方案。
INSIGHT把大 SLM 检索能力压缩到 sub-600M 学生模型,是 LLM 检索器落地搜索的现实路径。对社区搜索召回的启示:蒸馏中“L2 对齐 query 表示 + 对比精炼”两段式优于单纯对比蒸馏;先用大模型刷质量上界、再蒸馏到可上线规模,可在不大幅牺牲 nDCG 的前提下满足 QPS/延迟约束。