Why Advanced Encoders Lag on Sparse Retrieval? The Answer and an Approach to Bridging Vocabulary Gaps
这篇 SIGIR 2026 论文解释了一个反直觉现象:ModernBERT 等新编码器在稠密检索中更强,但在 learned sparse retrieval 中反而落后于 BERT-base。作者把根因归结为 Vocabulary Gap,即现代 tokenizer 的大小写敏感、原始表面词表把同一语义拆成冗余形态,浪费稀疏维度并削弱词项匹配。提出的 Vocabulary Transfer 通过语义初始化和 Activation Potential Calibration 迁移到更适合稀疏检索的规范化词表,使 ModernBERT 在 BEIR 上达到 52.4 nDCG,相比原方案提升 +4.7。
INSIGHT这对 UGC 搜索特别实用:短文本 query 往往混合错别字、大小写、品牌词和口语变体,稀疏召回仍然承担高精确匹配职责。论文说明换更强 encoder 不一定能自动提升稀疏检索,词表归一化和激活校准可能比盲目扩大模型更关键;实践上可以把 VT 作为 BM25/稀疏神经召回升级方案,在保留可解释词项信号的同时吸收现代 encoder 的语义能力。