FinResearchBench II: A Deep Research Benchmark with Consensus-Derived Gold Rubrics for Distinguishing Financial Report Quality
论文面向金融深度研究报告构建可扩展评测:从 104 个真实查询生成 14,450 条候选 rubric,并用三模型评审组筛选共识标准。在三位人类专家共同一致的样本上,模型评审达到 98.67% 标签级一致率;最终保留 2,600 条可区分 rubric,使 10 个研究系统的通过率拉开到 58.58%—22.23%。
INSIGHT贡献不在新的搜索代理,而在把昂贵的人类评测转化为“多评审一致性+系统间可区分性”的自动筛选流程。搜索团队可将同一思路用于复杂答案评测:先让多个模型生成细粒度事实、引用和覆盖标准,再只保留跨评审稳定且能区分系统优劣的指标,降低长答案迭代成本。