Domain-Adaptive and Scalable Dense Retrieval for Content-Based Recommendation
构建基于 two-tower bi-encoder 的可扩展 dense retrieval 系统,用对比学习微调并通过 FAISS + INT8 量化实现高效部署。
INSIGHT该方案完整展示了从 BM25 到 dense retrieval 的迁移路径:对比学习微调 + FAISS 索引 + INT8 量化,Recall@10 从 0.26 飙升至 0.66,且推理延迟仅 6.1ms。
业务关联社区搜索中 UGC 短文本语义匹配正是 dense retrieval 的典型场景,该方案的 two-tower 架构和量化部署策略可直接复用于帖子/问答的语义召回。
证据Amazon Reviews 2023 Fashion 数据集上 Recall@10 从 BM25 的 0.26 提升到 0.66(+153%);826,402 条目录项;中位推理延迟 6.1ms(CPU);INT8 量化实现 4x 模型压缩。