Quantifying the Accuracy and Cost Impact of Design Decisions in Budget-Constrained Agentic LLM Search
该论文系统评估了预算约束下 agentic LLM 搜索系统的设计决策影响。通过在 6 个 LLM 和 3 个基准上测试 Budget-Constrained Agentic Search 框架,发现:搜索深度增加到一定阈值后准确率提升趋缓;混合检索+重排序带来最大收益;更大的生成预算主要帮助综合型任务。这些发现为搜索系统中 agentic 架构的成本-效果权衡提供了量化指导。
INSIGHT该研究的实践价值在于为 agentic 搜索系统的工程部署提供了量化决策依据。核心发现——搜索深度存在边际效益递减阈值、混合检索+重排序是最优策略——直接可用于指导搜索系统架构选型。对于社区搜索场景,可据此确定合理的 agent 搜索轮数和 token 预算,在准确率和成本间取得最优平衡。