Learning Query Encoders Can Be Hard Even When Vector Retrieval Is Geometrically Easy
论文区分冻结文档索引的几何容量与查询编码器可学习性,用排序SVM直接优化查询向量,估计可实现召回的下界。在BRIGHT、BEIR和LIMIT共20个数据集上,索引往往支持接近完美检索,但测试查询编码器多数未超过50%甚至25%召回,并给出统计查询学习模型中的指数级困难构造。
INSIGHT检索失效可能来自查询映射没有学好,扩展向量维度或重建文档索引未必解决问题。社区短文本搜索可以在标注查询集上计算固定索引的理想召回下界,再与实际编码器比较,决定优先改进查询理解、难负例还是文档表征;SVM借助金标进行诊断,并不是可直接服务未见查询的线上检索器。