ScoreGate: Adaptive Chunk Selection for Retrieval-Augmented Generation via Dual-Score Statistical Fusion
固定 top-K 检索对窄问题过检索、对组合问题欠检索。ScoreGate 在推理时复用流水线已有的两个分数——bi-encoder 相似度 s_i 与 cross-encoder 重排分 r_i——做轻量的分数空间决策来动态控制检索条数,不增加任何模型推理调用。核心观察是 cross-encoder 的确认能救回那些因词汇不匹配被 bi-encoder 排低、但语义相关的 chunk。在 MS MARCO(200 条 dev query)上 MRR@10=0.401,且保留 chunk 比 Standard Top-K 少 35%;内部基准(n=300,Fleiss κ=0.87)下零误报。
INSIGHT复用已有的双塔分与交叉编码分做自适应截断,几乎零额外成本就能缓解'词汇不匹配导致 bi-encoder 漏召'的老问题。对社区搜索的多级检索,可把这套双分数门控直接套在现有召回+重排之上,按 query 复杂度动态决定送入下游的条数:窄 query 省算力,组合型 query 提召回。