REVES: REvision and VErification--Augmented Training for Test-Time Scaling
REVES 提出“修订+验证”增强的训练框架用于 test-time scaling。标准后训练只优化单次目标,与多步推理动态不匹配;已有多轮 RL 直接在多步轨迹上优化,浪费了中间步里“差一点对”(near-miss)的可学信号。REVES 两阶段交替:在线数据/prompt 增强 + 策略优化,把成功恢复轨迹里的中间步拆成解耦的修订 prompt 与验证 prompt。在 LiveCodeBench 上以公开测试用例为反馈,比 RL 基线 +6.5 分、比标准多轮训练 +4.0 分;circle packing 上用 4B 小模型匹配 SOTA、rollout 远少于更大的进化搜索系统。代码已开源。
INSIGHT核心是把“改对答案”和“识别错误”两种能力解耦成独立训练信号,从恢复轨迹挖掘 near-miss 中间步,避免长程多轮采样的算力开销。对搜索/推理系统的启示:test-time 反复修订时,验证器与修订器可分开训练、各喂针对性数据,比端到端多轮 RL 更省 rollout。4B 模型即可复现、代码开源,落地门槛低。