Beyond Outcome Rewards: Constructing and Assigning Retrieval Credit for Search Agents
只奖励最后答对,模型很难知道哪一次搜索有用。作者给中间检索加入证据覆盖反馈,并把奖励分配给产生证据的动作。在相同训练设置下,局部归因方案的平均 F1 比仅用最终奖励高 3.09 个点。
INSIGHT奖励衡量什么,与奖励发给谁,需要一起设计。把检索反馈平均摊给整条轨迹,会削弱它对具体搜索动作的指导。训练社区复杂问答智能体时,可记录每次检索补齐了哪一条必要证据。