RLFactory: A Plug-and-Play Reinforcement Learning Post-Training Framework for LLM Multi-Turn Tool-Use
LLM 在多轮工具调用任务中表现不稳定。本文提出 RLFactory,一个即插即用的 RL 后训练框架,通过异步工具调用器和解耦的工具/训练架构解决工具异构性问题。框架引入工具反馈的 observation markers 重构 MDP,实现模型-工具-环境的闭环,并支持规则、模型判断、工具验证三类奖励信号。在 Search-R1 框架下,Qwen3-4B 在 NQ 数据集上达到 0.486 测试分数,超越了更大的 Qwen2.5-7B-Instruct-GRPO(0.473)。
INSIGHTRLFactory 的核心贡献是将多轮工具调用建模为完整的 MDP 闭环:模型输出 → 工具执行 → 观察标记 → 策略更新。这对搜索 Agent 的训练具有直接参考价值——搜索系统中的查询改写、召回、重排等工具链正是典型的多轮交互场景。框架的「即插即用」设计允许快速接入不同搜索工具,降低了 RL 训练的工程门槛。在 NQ 上小模型超越大模型的结果表明,RL 后训练比单纯增大模型规模更高效。