Are LLM-Based Retrievers Worth Their Cost? An Empirical Study of Efficiency, Robustness, and Reasoning Overhead
该论文系统评估了 LLM-based 检索器在效率、鲁棒性和推理开销方面的实际表现。在 BRIGHT 基准上复现 12 个任务和 14 个检索器,扩展评估指标包括冷启动索引成本、查询延迟分布与吞吐量、语料规模缩放、query 扰动鲁棒性和置信度预测 (AUROC)。同时量化了"推理开销"——对比标准查询与 5 种推理增强变体的精度增益与延迟代价。发现部分推理专精检索器在保持吞吐竞争力的同时实现了强效果,而多个大型 LLM bi-encoder 以高延迟换取有限增益。
INSIGHT这项大规模实证研究为"是否值得用 LLM 做检索"提供了量化决策依据:推理增强对 sub-1B 编码器几乎无延迟代价,但大模型 bi-encoder 的延迟代价往往不值得。对搜索系统的实践启示是:在选择 LLM 检索器时需综合评估准确率、延迟和推理开销三者的权衡,而非仅追求效果。这种成本-效益分析框架对工业界的 LLM 检索落地决策至关重要。