Retrieval as a Decision: Training-Free Adaptive Gating for Efficient RAG
针对 RAG 系统中「每次查询都检索」导致的质量下降和延迟增加问题,提出 TARG(Training-free Adaptive Retrieval Gating),一种无需训练的自适应检索门控策略。利用基座模型生成的短 draft 前缀的 logits 计算不确定性分数(token 熵均值、top-1/top-2 logit 间距、小规模随机前缀方差),仅在不确定性超过阈值时触发检索。在 NQ-Open、TriviaQA、PopQA、MuSiQue、ASQA 五个 QA 基准上,TARG 减少 70–90% 的检索调用,同时保持或超越 Always-RAG 的 EM/F1 分数,端到端延迟大幅降低。
INSIGHTTARG 最突出的实践价值在于其零训练成本和即插即用特性——不需要额外的判别头或微调,仅通过 draft logits 的不确定性信号即可决策是否检索。对于搜索/推荐系统而言,这提供了一条低成本优化检索效率的路径:在 LLM 辅助搜索场景中,可以用类似的不确定性门控策略减少 70%+ 的外部检索调用,在不牺牲结果质量的前提下大幅降低延迟和 API 开销。margin signal 作为鲁棒默认策略值得优先尝试。