Characterizing Web Search by Conversational LLM Agents: From Search Decisions and Strategies to Results and Responses
研究结合真实交互和受控 API 实验,分析四类会话平台从搜索决策、查询改写到引用回答的完整过程。同一组 1,000 个输入中,GPT 触发搜索 140 次,Claude 触发 825 次,但更多调用不必然带来更优回答;跨平台仍有约 15%–20% 的声明未获得证据支持,揭示调用次数与证据质量的差别。
INSIGHT社区搜索应把是否检索、如何改写、召回来源分布和回答引用分开评估,再关联到任务完成与点击反馈。可以记录未被引用却实际使用的帖子,检查来源偏好是否压制长尾 UGC;本文主要是观察与受控对照,模型和平台版本会影响结果,不宜将触发率当成通用优化目标。