Col-Bandit: Query-Time Top-K Estimation for Late-Interaction Retrieval
ColBERT 等多向量 late-interaction 检索质量 SOTA,但 query 时成本被 token 级 MaxSim 穷举主导。N 个候选对 T 个 query token 构成 N×T 的 MaxSim 矩阵,其行和即 late-interaction 分数,求 top-K 很少需要全部元素。Col-Bandit 将其建成 bandit:分批揭示矩阵元素,对每个候选维护有限总体 Bernstein-Serfling 置信区间,凡上界低于第 K 大下界的文档永久剪枝,只计算分离 top-K 所需的格子。单一松弛旋钮 α_ef∈(0,1] 调节算力-精度权衡,部署用 α_ef=0.2。
INSIGHTlate-interaction(ColBERT 风格)精度高但算力贵,是落地核心障碍。Col-Bandit 把 top-K 当成统计置信问题,用置信区间提前剪枝,把 MaxSim 计算降到'够分出 top-K 即可',且只有一个旋钮调权衡——对既要高相关性又卡延迟的社区搜索重排阶段有直接借鉴价值。