Mult-DPO: Multinomial Direct Preference Optimization for Recommender Systems
现实推荐反馈是“集合式”偏好:一批正样本都应排在所有未观测/负样本之前。直接套 Plackett-Luce 做 DPO 需对正样本的所有排列做边际化,组合复杂度爆炸。Mult-DPO 用多项式似然近似集合偏好事件,得到闭式、分类式的 DPO 目标,可直接让 LLM 对多候选对齐;并证明该多项式 DPO 损失是边际化 PL-DPO 损失的可计算上界,刻画了上界紧致程度与正负样本权重比的关系。代码已开源。
INSIGHT把 DPO 从成对偏好推广到集合偏好,正契合搜索/推荐里“一个 query 下多条相关结果”的监督形态——无需枚举排列即可对齐 LLM 排序器。对用 LLM 做相关性排序的社区搜索,这给出一个理论有保证、实现简单(分类式损失 + 开源代码)的偏好对齐方案,可替代逐对构造 pair 的低效做法。