GFlowGR: Fine-tuning Generative Recommendation Frameworks with Generative Flow Networks
本文针对生成式推荐(GR)中LLM微调阶段的曝光偏差(exposure bias)问题,提出基于生成流网络(GFlowNets)的微调框架GFlowGR。现有GR微调方法主要依赖SFT的下一个token预测损失或DPO策略,都忽视了对未观察到的正样本的探索。GFlowGR将GR建模为多步生成任务,整合传统推荐系统的协同知识构建自适应轨迹采样器和综合奖励模型,在两个真实数据集和两种GR骨干网络上验证了有效性和鲁棒性。该工作入选ACM Web Conference 2026。
INSIGHTGFlowGR揭示了当前GR系统微调的关键缺陷——SFT和DPO都未充分探索潜在正样本空间。GFlowNets的「按奖励比例采样」特性为解决曝光偏差提供了优雅方案。对从业者的启示:生成式推荐系统的性能瓶颈可能不在模型架构或item编码,而在微调策略本身。引入多样化采样和轨迹级奖励建模可显著改善推荐覆盖度和多样性,阿里巴巴参与验证了该方法的工业可行性。