HotelQuEST: Balancing Quality and Efficiency in Agentic Search
提出 HotelQuEST,关注 Agentic Search 中质量与效率的平衡问题。构建了首个同时评估搜索质量和计算效率的 Agentic Search 基准,揭示现有方法在效率方面的不足。
INSIGHTAgentic Search 目前被广泛关注质量维度,但效率问题被忽视。该工作首次系统化评估 LLM Agent 搜索的 latency 和 token cost,对实际部署至关重要。
业务关联社区搜索业务中 latency 直接影响用户体验。HotelQuEST 提出的质量-效率权衡评估框架可用于指导社区搜索 Agent 化方案的工程落地,避免 Agent 搜索因延时过高不可用。
证据在酒店搜索场景上评估了多种 Agentic Search 方案,发现效率最优方案比最高质量方案快 3-5 倍但仅损失 5-8% 质量。