Dense Process Supervision for Search Agents via Fact Utility Estimation
FactAgent 将搜索推理过程表示为证据事实的积累,从原始观测抽取结构化事实并聚合同义事实,再用组内轨迹的贝叶斯估计生成密集步骤奖励。研究覆盖 7 个单跳及多跳问答基准,7B 模型平均 EM 超过最强基线 3.2 点;系统只使用本地 Wiki-18 索引,每题最多运行 8 轮。
INSIGHT对需要串联多条帖子和问答的社区查询,可把奖励归因到新增有效事实,减少重复检索和偶然答对带来的训练噪声。实施时应保留帖子标识、证据出处和事实合并过程,用多跳问题检验事实覆盖率与最终相关性;论文显示未经过强化学习适配的事实工作流可能弱于单次 RAG。