TIPS: Turn-Level Information-Potential Reward Shaping for Search-Augmented LLMs
针对搜索增强型 LLM 训练中奖励稀疏和信用分配困难的问题,提出 TIPS(Turn-Level Information-Potential Reward Shaping)框架。TIPS 基于教师模型为每个推理+工具调用段分配密集的 turn 级奖励,利用 potential-based reward shaping 提供细粒度、策略不变的训练信号。在 7 个 QA 基准上,TIPS 持续优于 GRPO/PPO 基线,使用 Qwen-2.5 7B 模型显著提升训练稳定性和性能。
INSIGHTTIPS 解决了 search-augmented LLM 训练中的核心难题:多轮搜索场景下的奖励稀疏。其 turn 级奖励设计避免了 advantage collapse 问题,对于需要多轮检索的复杂搜索场景(如社区 UGC 搜索中的长尾 query)具有直接参考价值。potential-based 方法保证了策略不变性,这是工程实践中稳定训练的关键。