Q2D-Web: A Large-Scale Benchmark for Retrieval in Agentic RAG Systems
Q2D-Web 面向生产搜索的一阶段召回评测,提供 1.9 亿网页、7 万条来自真实用户需求的代理改写查询,覆盖十种语言,并比较 13 个词法、稠密及晚交互检索器。基于 RRF 选取三分之一语料能保持组合标注下的模型排序,但 Recall@1000 绝对值仍虚高 3 至 7 个百分点。
INSIGHT社区检索评测应同时覆盖用户原始短查询和系统改写查询,并补充多篇相关帖子的标注,避免把未标注的好结果算错。该基准强调深召回与前排相关性的最佳模型可能不同,可借鉴其多层指标与分语言分析;缩小语料时要报告绝对分数偏差,不能只看模型顺序稳定就认定线上效果等价。