Beyond Semantic Similarity: Performance and Costs of Agentic Retrieval for Complex Tasks
论文将LLM推理与稠密检索放入ReAct循环,检验复杂查询能否超越表层语义匹配。在使用相同 embedding 模型时,nDCG@10提高8.7个百分点,并在ViDoRe v3和BRIGHT展示跨域适用性。代价是平均耗时107.4秒,而标准检索为0.67秒;每个查询消耗约764.1K输入和5.8K输出Token。
INSIGHT对社区UGC搜索,复杂意图拆解与迭代检索值得作为疑难查询的增量路径,但当前成本不适合直接接入所有在线请求。建议在固定 embedding 模型下比较单轮与多轮检索,联合记录nDCG、首响延迟、Token和重复检索率,设置预算与降级策略,避免把语义推理收益与更换检索器的收益混在一起。