RVANNS: Mixed-Precision Indexing and Locality-Aware Graph Traversal on RISC-V
论文面向 CPU 上向量搬运、低精度解码和 HNSW 随机访存造成的 ANNS 瓶颈,提出混合精度多层索引 MPMI 与局部性感知遍历 ROrder,并把重构与距离累加融合。集成 Milvus 后,在真实 128/256 位 RVV 处理器上分别获得 3.39 倍和 4.94 倍加速,Cohere10M 上相对 GPU 基线的 QPS/W 提升 1.82–2.27 倍。
INSIGHT短文本召回的成本常常受内存带宽而非模型算力限制。可借鉴其“量化基向量+稀疏残差+邻接重排”的组合,在召回率约束下优化索引布局,并把距离计算、解码和图遍历放进同一 kernel;这比单独更换 embedding 模型更容易带来稳定的 p99 收益。