The Case Against Generation for Retrieval: Discriminative Language Models as Effective Retrievers
Meta 用共享 LLM 编码器、EOS 池化、跨域迁移、交叉编码器蒸馏和用户塔潜在推理重做双塔召回。0.6B 双塔在 Amazon Toys 上 R@10 达 0.1078,较 8B OneRec-Think 高 35.3%;生产实验仅用传统 DLRM 0.5% 的训练数据即可达到同等 NE,并可通过量化获得 13.6% QPS 增益。
INSIGHTLLM 的语义能力不必以自回归生成方式进入全库召回;更稳妥的路径是让强交叉编码器做教师,把候选集排序分布蒸馏回可 ANN 服务的双塔。对社区搜索,这能保留现有向量索引和毫秒级链路,同时利用跨域预训练缓解新内容与模型陈旧问题,适合作为生成式召回的低风险对照组。