DynamicPO: Dynamic Preference Optimization for Recommendation
在 LLM-based 推荐里,DPO 通常借助多负样本目标函数从隐式反馈中放大偏好边界。但作者发现一个反直觉的“偏好优化坍塌”现象:训练损失持续下降,但增加负样本反而带来性能退化。理论分析显示,易判别的简单负样本会主导梯度,把真正定义偏好边界的“边界负样本”信号压制住。基于此,论文提出 DynamicPO,通过动态加权机制识别并放大 boundary-critical 负样本的梯度贡献,是一个轻量、即插即用的 DPO 改造,实验显示能在多个推荐基准上稳定改善对齐效果。
INSIGHT把 DPO 的“多负样本”看成排序里的“困难负样本挖掘”问题,是 LLM-Rec 训练范式与传统 ranking 训练经验对齐的关键洞察。社区搜索的相关性精排、CTR 预估与对齐微调都可以照此思路:识别每个 batch 中真正贴近决策边界的负样本,给予动态权重,避免简单负样本“偷走”梯度。这个改造代价低、无需新数据,是最容易迁移到现有 LLM-Rec 与 reranker 训练管线的优化点。