SHEAF: Self-profiled Hardness Estimation from Answer-set Flux for Predicting Query Hardness in Graph-based ANN Search
论文发现 ANN 查询达到 95% 召回所需 beam 在 SIFT1M 上相差超过 32 倍,固定 beam 会同时浪费吞吐并伤害难查询召回。SHEAF 用两次浅层 probe 的 top-k 答案集变化量预测查询难度,在 CAGRA、HNSW 和 4 个数据集上,留出相关性最高比 5 个基线好 1.55 倍。
INSIGHT对 UGC 搜索而言,短 query、长尾实体和热门 query 的向量检索难度并不一致,按查询动态分配 ANN 搜索预算比全局调大 beam 更划算。SHEAF 只需两次浅 probe 且无需在线真值,可作为召回层的难度路由器,优先把算力留给答案集尚未稳定的查询。