1. 问题与动机

论文针对当前 search-augmented reasoning（搜索增强推理）训练范式中轨迹级（trajectory-level）奖励的两个核心结构性缺陷展开。第一个缺陷是无法区分查询质量：当多条轨迹给出同一个最终答案、但中途的检索 query 质量差异很大时，trajectory-level reward 会对它们打出完全相同的分数。论文 Figure 1 展示了一个直观例子：一条轨迹生成精确 query 检索到含答案的文档，另一条只发出模糊 query 拿回毫不相关的内容，两者却获得相同的 reward 信号，造成搜索行为优化的噪声。第二个缺陷是「all-failure」场景下梯度消失：当 group 内所有轨迹都答错时，trajectory-level advantage 趋近于 0，几乎没有可用梯度——而这恰好是训练早期和困难多跳问题最需要监督的时刻。

现有的 step-level 方案（StepSearch 用 GPT-4o 生成 sub-question 标注、GiGPO 依赖跨轨迹共享环境状态、IGPO/Tree-GRPO 引入树结构等）要么需要昂贵外部标注，要么对采样结构有强约束。论文的核心动机就是：能否只用 standard QA 监督（gold answer），仅靠模型自己的概率分布，就构造稠密的、可信的步骤级 reward？这是把 RL 引入复杂多跳搜索 agent 训练的「最后一公里」问题。

2. 方法详解

核心 reward 公式（信息增益 IG）。对于第 t 步检索，IG 定义为模型对 gold answer 的对数概率，在「真实检索上下文」与「随机文档反事实上下文」上的差值：

IG_t = log π_θ_old(a | C_t^real) − (1/N) Σ_j log π_θ_old(a | C_t^rand,j)

其中 C_t^real 是真实检索结果构成的上下文，C_t^rand,j 是从同 batch 其他问题里随机采样得到的反事实上下文（默认 N=3 条），a 是 gold answer。每个 log 概率都做 token-level 长度归一化：log π_θ_old(a | C) = (1/|a|) Σ_k log π_θ_old(a_k | C, a*_<k)。论文有意选择「随机文档」而非「空上下文」作为基线——因为空上下文存在长度与位置 bias，随机文档则匹配真实上下文的长度与结构特征，仅去掉 topical relevance，让 IG 真正反映「检索的信息贡献」。

与 GRPO 的集成方式。GRPO 原本是 group-normalized 的整轨迹 advantage Â_i 共享给所有 token；IG-Search 引入 query token 的 per-token 调制：

Ã_i,p = Â_i + α · IG̃_t / |Q_t|（当 token p ∈ search query Q_t）
Ã_i,p = Â_i（其他 token）

其中 α=0.3 是 IG 权重；除以 |Q_t| 防止 reward hacking（agent 用更长 query 套取奖励）；IG̃_t 是经过四步稳定化后的值。

四步稳定化机制。(1) Dead Zone Filtering：|IG_t| < δ=0.5 时直接置零，过滤模型本就会答对的 question 上的虚假信号；(2) Asymmetric Negative Scaling：负 IG 乘以 λ=0.1，确保最优策略是「搜得好」而不是「干脆不搜」（消融显示 λ=1.0 时性能从 0.430 跌到 0.391，是单一最大降幅）；(3) Soft Clipping：|IG_t| > η=3.0 时用对数压缩 sign(IG_t) · (η + log(1 + |IG_t| − η))，限制极端值；(4) Query Length Normalization：除以 |Q_t| 防止 query 长度通胀。

训练设置。Qwen2.5-3B（base 与 instruct 两个变体）+ Qwen2.5-7B 用于 scaling 实验；训练数据是 NQ + HotpotQA 的 train split；硬件为 8× NVIDIA H800，使用 veRL 框架；group size G=5，batch=512，lr=1e-6，总步数 200，最多 5 次 search call，rollout temperature=1.0；retriever 是 E5-base-v2，corpus 是 2018-12 的 Wikipedia，每次取 top-3 文档；相比 AutoRefine 仅增加约 6.4% 的单步 wall-clock 开销。

3. 核心技术贡献

(1) 反事实信息增益作为稠密过程奖励。把「这次检索到底带来了多少有用信息」严谨地形式化为模型对 gold answer 置信度的提升量，并通过随机文档基线消除长度 / 位置 bias。这是一种 retrieval-grounded process reward，相比 StepSearch 不需要 GPT-4o 标注，相比 GiGPO 不需要跨轨迹共享状态——大幅降低了 step-level reward 的工程门槛。

(2) 不对称负向缩放破解「躺平 bug」。如果对负 IG 同样惩罚（λ=1），最优策略会退化为「不搜索」（query 越多潜在惩罚越大）。论文用 λ=0.1 把负向信号削弱 10 倍，使「搜得好」严格优于「不搜」，但仍保留对真正烂 query 的轻度惩罚。这是把 IG 从理论奖励变成可训练奖励的关键工程细节。

(3) Per-query-token advantage 调制。把 step-level IG 信号精确分配到该步 query 的 token 上（而非散布到全轨迹或所有 token）。消融显示：施加到 query+think token 跌 0.8 分，施加到全 token 跌 1.7 分，验证了精确范围分配的必要性。

(4) all-failure 场景的稳定梯度。Figure 9 展示当全 batch rollout 都失败（早期 58%）、trajectory-level advantage 归零时，IG 仍能区分 informative search（IG=1.58）与 uninformative search（IG=0.08）。整个训练中 mean |α·IG̃_t| 稳定在约 0.21，提供了 trajectory baseline 完全没有的持续信号。

4. 实验结果分析

主结果表（Qwen2.5-3B-Base，Table 1）。7 个 QA benchmark 的平均 EM：

• IG-Search-Base：0.430
• MR-Search（最强 trajectory baseline）：0.414（IG 提升 +1.6）
• AutoRefine-Base：0.405（IG 提升 +2.5）
• GiGPO（step-level 替代）：0.421（IG-Instruct 提升 +0.9）

多跳任务的优势更明显。HotpotQA：0.436 vs 0.419（+1.7）；2WikiMultihopQA：0.415 vs 0.401（+1.4）；Musique：0.179 vs 0.165（+1.4）；Bamboogle：0.390 vs 0.344（+4.6，提升最大）。单跳：NQ 0.476 vs 0.477（基本持平），TriviaQA 0.637 vs 0.635（+0.2），PopQA 0.476 vs 0.460（+1.6）。趋势清晰：IG-Search 在「需要多次有效检索」的多跳问题上获益最大。

与 GPT-4o 标注的 StepSearch 对比。IG-Search 在不依赖 GPT-4o 标注的情况下大幅领先：HotpotQA +10.7、2Wiki +7.6、Bamboogle +6.2，仅 Musique 微差（−0.2）。这说明 retrieval-grounded process reward 的内生信号已经足够强，外部 LLM 标注未必划算。

Scaling 表现。1.5B / 3B / 7B / 14B 上对 AutoRefine 的提升分别是 +3.5 / +2.5 / +2.1 / +2.3，说明该方法在不同规模上稳定生效，并非小模型专属技巧。Qwen2.5-7B 平均 EM 达 0.479，超过 MR-Search 的 0.460。

消融实验。完全移除 IG（退化为 trajectory baseline）：0.430→0.403（−2.7）；λ=1（对称负缩放）：→0.391（−3.9，最大单点降幅）；δ=0（无 dead zone）：→0.416（−1.4）；无 soft clipping：→0.420（−1.0）；无 query length norm：→0.408（−2.2）。最关键的是 asymmetric scaling 与 query length norm，它们直接决定了奖励能否被「合规优化」。反事实基线设计（Figure 3）也很关键：random+refine（默认）0.430、bottom-k 0.414（−1.6）、empty context 0.403（−2.7，多跳上 −7.0）——印证「同长度同结构、仅去 topical 相关性」是更纯净的对照。

搜索行为校准。单跳问题平均 search 调用从 AutoRefine 的 2.0 降到 1.3，多跳问题保持 2.4——agent 学会了「按需搜索」，单跳更克制、多跳更深入。

5. 局限与未来方向

论文 Section 4 明确列出三条作者承认的局限：

（1）训练时需要 gold answer。IG 的计算本质上需要 log π_θ(a*|C)，因此只适用于有标准答案的任务。对开放式生成、长文本、需要 expert judgment 的场景，IG 暂无答案无关的代理。「Developing answer-free proxies remains future work.」

（2）超参在跨任务上未充分验证。α / λ / δ / η 是在 NQ + HotpotQA 上调出来的，没有验证在 numerical reasoning、temporal reasoning、long-form answer 上是否同样稳健，存在过拟合到 factoid QA 的风险。

（3）Offline 静态语料。Wikipedia 2018-12 dump 缺乏时新性，无法处理时间敏感问题——这是整个 RAG 文献共同的限制，不是 IG-Search 独有。

论文未明显讨论但值得注意的潜在风险是：随机文档 batch-内采样在小 batch 或同质 batch 下可能反事实多样性不足，这在数据分布偏窄的工业场景需要谨慎处理。

6. 工业实践意义

对社区搜索 / UGC 搜索 Agent 的直接启示。

（1）为多轮检索/Query 改写设计可计算的中间奖励。社区搜索很多复杂 query 天然多跳（「上海哪家川菜馆周日营业且能带宠物」），现有的多轮搜索 agent 都受困于稀疏轨迹奖励。IG 思路给了一条不需要人工标注、不需要外部 reward model 的中间奖励路径——只要有「这个 query 最终被点击/被采纳的内容」作 gold answer 代理，就能为每一轮 query 改写动作打分。

（2）推理时零额外开销。这是 IG-Search 最被低估的工程优势：所有 IG 计算只发生在训练阶段（offline forward pass），在线推理与原模型完全等价，无任何延迟增加。这与必须在 serving 时引入 reward model 或额外模块的方案完全不同，可以无痛接入现有重排 / 召回链路。

（3）asymmetric scaling 经验可直接复用。任何「调用-奖励」型 RL 训练（推荐 Agent 调用 retriever、reranker、过滤器）都可能遭遇「躺平 bug」——模型学到「不调用就没风险」。论文给的 λ=0.1 不对称缩放是个简单但有效的工程方案，应作为默认配置。

（4）数据/算力门槛友好。Qwen2.5-3B + 8× H800、200 训练步、6.4% 额外开销，对一线搜索/推荐团队来说完全在可承受范围。论文表 3 显示 14B 上仍有 +2.3 提升，意味着这套方法在生产级模型上同样适用。

部署考量。训练阶段需要 retriever（E5-base-v2 或同级），corpus 与线上对齐；推理无额外组件。对延迟敏感的搜索场景（社区搜索 P99 通常需 <300ms），这种「训练改造 + 推理零成本」的范式是首选。

可借鉴的一句话：把 RL 信号从「最终答案对不对」拉到「这次检索增加了多少答案置信度」，并通过反事实 + 不对称 + dead zone 三件套让信号工程上可用——这是 IG-Search 留给搜索 / 推荐 Agent 训练的核心方法论。