AgenticRAGTracer: A Hop-Aware Benchmark for Diagnosing Multi-Step Retrieval Reasoning in Agentic RAG
AgenticRAGTracer 用大模型自动构造 1,305 条多跳样本,并为最终问题补充逐跳中间问题,从而定位规划、检索和执行分别在哪一跳失败。实验显示最难子集上 GPT-5 的精确匹配率只有 22.6%,主要错误是过早收缩推理链或无止境扩展;代码与数据已公开。
INSIGHTUGC 搜索中的复杂问题不应只看最终答案或点击结果,应该记录 query 分解、每跳证据覆盖和停止时机。可借鉴 hop-aware 评测,把“找到了相关帖子但没有完成跨帖组合”单独归因,再针对 planner、retriever 和 verifier 分别优化。