Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning
提出 RRPO (ReRanking Preference Optimization),用强化学习框架将 reranking 模型与 LLM 生成质量直接对齐。将重排序建模为序列决策过程,使用 LLM 反馈替代人工标注作为奖励信号,并引入 reference-anchored deterministic baseline 保证训练稳定性。在知识密集型基准上显著超越 RankZephyr 等强基线,且能泛化到不同 LLM (如 GPT-4o) 和查询扩展技术。
INSIGHTRRPO 的核心洞察是:传统 reranking 模型基于静态人工标注的相关性训练,与 LLM 实际生成所需的上下文存在根本性错位。通过将 reranking 视为 RL 问题、直接用 LLM 生成质量作为奖励,实现了 retrieval-generation 的端到端对齐。这一思路可直接迁移到搜索场景:用下游效果(CTR/nDCG)而非离线标注来优化排序模型,是 LLM 时代 reranking 的新范式。