A Super Fast K-means for Indexing Vector Embeddings
提出 SuperKMeans,一种专为高维向量 embedding 聚类优化的 K-means 变体。在现代 CPU 上比 FAISS 和 Scikit-Learn 快 7 倍,在 GPU 上比 cuVS 快 4 倍。该方法直接服务于向量检索索引构建(如 IVF 索引),可显著加速大规模向量数据库的索引构建过程。
INSIGHT针对向量检索系统中 IVF 索引构建的核心瓶颈——K-means 聚类速度——提出专用优化算法。对搜索系统的实践价值在于:当 embedding 库规模达到亿级时,索引重建耗时可能长达数小时,SuperKMeans 的 4-7 倍加速可大幅缩短索引构建周期,提升系统迭代效率。