Multi-Vector Index Compression in Any Modality
提出四种多向量检索压缩策略,其中注意力引导聚类(AGC)在固定向量预算下保持高检索性能。
INSIGHTAGC 利用注意力机制识别文档中语义最显著的区域作为聚类中心,在 ColBERT 等 late-interaction 模型中可大幅降低存储和计算开销。
业务关联社区搜索中短文本量大,ColBERT 等多向量模型虽然精度高但存储成本高。AGC 压缩策略可在保持检索质量的同时显著降低索引存储和在线计算成本。
证据在 BEIR 文本检索、ViDoRe 视觉文档检索和 MSR-VTT/MultiVENT 2.0 视频检索数据集上,AGC 在固定向量预算下一致优于其他参数化压缩方法,同时保持与无压缩模型接近的检索性能。