LACONIC: Dense-Level Effectiveness for Scalable Sparse Retrieval via a Two-Phase Training Curriculum
提出 LACONIC 系列学习稀疏检索模型(1B/3B/8B),基于 Llama-3 架构,采用两阶段训练范式:弱监督预微调使因果语言模型适应双向上下文理解,随后使用精选难负例进行高信号微调。LACONIC-8B 在 MTEB Retrieval 15 个数据集上达到 60.2 nDCG@10,排名第 15 位,是该榜单上唯一的学习稀疏检索模型。
INSIGHTLACONIC 证明了在 LLM 主干上训练的稀疏检索器可以达到稠密检索的效果水平,同时索引内存开销大幅降低。对 UGC 短文本搜索的启示:稀疏检索天然支持倒排索引加速,结合 CPU 硬件即可部署,无需 GPU 向量检索基础设施,是资源受限场景下的实用方案。两阶段训练策略(弱监督预训练+难负例微调)可借鉴到自有模型训练中。