CMedTEB & CARE: Benchmarking and Enabling Efficient Chinese Medical Retrieval via Asymmetric Encoders
LLM 级别的 embedding 模型虽然检索能力强,但推理延迟和计算成本限制了实时场景应用。本文构建了中文医疗文本嵌入评测基准 CMedTEB,涵盖检索、重排序和语义相似度三类任务,通过多 LLM 投票管线并经临床专家验证确保标签质量。在此基础上提出非对称检索架构 CARE,使用轻量 BERT 编码器处理查询端,LLM 编码器处理文档端,在保证检索精度的同时大幅降低在线推理延迟。
INSIGHT非对称编码架构是解决「大模型精度高但延迟大」矛盾的实用方案:查询端用小模型(低延迟)、文档端用大模型(高精度,离线编码)。这一思路直接适用于 UGC 搜索:文档侧可在入库时用 LLM 离线编码,查询侧保持轻量编码器满足实时性要求。CMedTEB 的多 LLM 投票 + 专家验证的标注管线也值得借鉴,可用于构建高质量的中文搜索评测集。