RICE-PO: Turning Retrieval Interactions into Credit Signals for Reasoning Agents
针对 retrieval agent 训练里 outcome reward 无法区分有效推理步与无效推理步的 credit-assignment 难题,作者提出 RICE-PO(Retrieval-Interaction Credit Estimation Policy Optimization)。核心思路:把可执行动作(query 重写、summary)的 retriever 反馈作为局部、可观测的密集 credit 信号,回传到中间 latent reasoning step,再以 critic-free 的方式做策略优化。这样避免了 outcome-level reward 把同样的最终结果错误归因到不实际影响检索的 reasoning step 上。
INSIGHTRICE-PO 把「retriever 返回什么」当作天然奖励源,特别适合搜索 agent 训练——召回器/排序器本身就是可微/可计分的环境,无需额外训练 critic。对实践的直接借鉴:搜索 agent 在做 query 改写、HyDE、reflection 时,可以用召回质量(nDCG、覆盖率、相关性 score)作为中间步骤的稠密 reward,避免只看最终 answer 准确率带来的稀疏信号问题。这对社区搜索里「先理解 query 再多轮召回」的复杂查询流是低成本的训练范式。