Reinforced Preference Optimization for Reasoning-Augmented Recommendations
RPORec 针对'LLM 推理过程与推荐目标不对齐'的问题,提出两阶段强化偏好优化:阶段一让 LLM 生成思维链推理,指导专用推荐头 Rechead 学习面向表征的特征;阶段二把 Rechead 的预测作为奖励,用强化学习反过来精炼 LLM 的推理质量与任务对齐。在公开基准与快手大规模线上部署中均稳定超过现有 LLM-based 推荐方法。
INSIGHT推理增强推荐的核心痛点是 LLM '会推理'不等于'推得对(对推荐目标有用)'。RPORec 用推荐头预测信号作为 RL 奖励,闭合推理与排序目标,是把通用 LLM 推理能力定向到推荐任务的可行范式。对社区搜索而言,可借鉴'推理→任务头→奖励回灌'的对齐思路,让 LLM 的 query/内容理解推理真正服务于相关性与点击目标,而非生成漂亮但无用的解释。