Mixture-of-Experts Language Models Can Be Strong and Efficient Retrievers
论文统一训练流程比较稠密与混合专家检索器,研究增加模型容量能否避免同步增加查询编码开销。在相近激活参数下,MoE 在 BEIR 上最多提升 3.0 个 nDCG@10 点;Qwen3-MoE 匹配 8B 稠密模型效果时,激活参数减少 59%,查询编码时间降低 18%。
INSIGHT社区短文本召回可把模型容量和在线激活量分开选型,先固定训练数据、负样本与服务配置再比较效率。原文还验证只减少查询端专家、不重建文档索引的方案,保留超过 99% 检索效果并最多缩短 26% 编码时间;这不等于总显存需求同比下降。