DIVE: Embedding Compression via Self-Limiting Gradient Updates
LLM 高维 embedding 给向量检索带来存储与算力压力。已有压缩适配器(Matryoshka-Adaptor、Search-Adaptor、SMEC)在标注稀缺时严重过拟合,效果反低于冻结基线。DIVE 用自限制 hinge 三元组损失(满足 margin 后梯度归零,限制对预训练空间的扰动)加 head-wise NT-Xent 多视图对比损失,在 6 个 BEIR 数据集、所有压缩比上均超过三个基线适配器,实现仅 14M 参数且开源。
INSIGHT核心思路是“少改动”:自限制损失避免小数据上破坏预训练 embedding 分布,多视图对比损失补偿三元组信号稀疏。对需要给召回向量降维、又缺乏大量领域标注的搜索场景有直接价值——14M 适配器可挂在现成 embedding 上,无需重训基座。