DailyReport: An Open-ended Benchmark for Evaluating Search Agents on Daily Search Tasks
现有 search agent 评测多聚焦真实用户不会遇到的专门任务,且用粗粒度的 task 级 rubric 导致评测可解释性差。DailyReport 提出面向「日常搜索任务」的开放式 benchmark:150 个开放任务、3546 条关联 rubric,覆盖真实用户高频且有时效性的信息需求。每个任务拆成子任务,用级联(cascade)rubric 在解耦的维度上打分,再通过级联归因与用户中心聚合,得到每个维度的高可解释分数及一个用户偏好分。在 17 个 agentic 系统上的结果显示,当前系统仍达不到用户期待。数据与代码已开源。
INSIGHT把 search agent 评测从「最终答案对不对」改成「子任务 × 级联 rubric × 用户偏好聚合」,本质是给搜索 agent 建了一套可解释的过程评测。对社区搜索从业者:日常 UGC 搜索正是这种开放、时效、无标准答案的场景,DailyReport 的 rubric 拆解思路可直接迁移到自建搜索助手的离线评测,避免只看 nDCG/最终答案而漏掉中间检索质量。Meituan 出品、强调「真实用户日常需求」,与社区平台的搜索分布更接近,可作为选型与回归测试的参考基线。