When Right Meets Wrong: Bilateral Context Conditioning with Reward-Confidence Correction for GRPO
针对 GRPO(Group Relative Policy Optimization)在训练推理模型时忽略组内正确与错误样本之间对比信号的问题,提出对比式重构方法。首先证明 GRPO 目标函数隐式地最大化正确与错误样本策略比率之间的间距,基于此提出 Bilateral Context Conditioning(BICC)机制,允许模型在优化过程中交叉引用成功和失败的推理轨迹。同时引入 Reward-Confidence Correction(RCC)通过奖励-置信度协方差动态调整 GRPO 的优势基线以稳定训练。两种机制无需额外采样或辅助模型,可适配所有 GRPO 变体,在数学推理基准上实现一致提升。
INSIGHTBICC 的核心贡献在于揭示了 GRPO 训练中被忽视的结构化信号——同组内正确与错误推理轨迹的对比关系。通过让模型在优化时直接对比成功和失败的推理过程,实现了跨样本的信息流动,这比独立处理每个样本效率更高。对于生成式推荐系统的训练,GRPO 已成为关键的对齐算法(如 DiffuReason 中的排序优化),BICC 的即插即用特性意味着可以直接应用于推荐模型的 GRPO 训练流程中,通过对比好/差推荐结果的生成轨迹来提升模型的排序质量。代码已开源。