ERank: Fusing Supervised Fine-Tuning and Reinforcement Learning for Effective and Efficient Text Reranking
ERank 提出把监督微调(SFT)与强化学习(RL)拼接成两阶段训练范式来训练文本 reranker:第一阶段用人工/合成的相关性标签做 listwise SFT,让模型学到稳定的排序先验;第二阶段以 listwise relevance reward 做 RL 优化(PPO/GRPO 风格),同时引入推理效率约束(限制思维链长度或推理成本)。在 BEIR 12 个数据集上的实验显示 ERank 比同规模的 RankZephyr/RankLLaMA reranker 在 nDCG@10 上有持续提升,同时把每条 query 的平均推理 token 数压低约 30%。
INSIGHT对社区搜索的精排层,ERank 的“先 SFT 后 RL,并把效率作为约束加进 reward”是值得抄作业的范式。线上重排预算紧张时,单纯的 listwise LLM reranker 往往因生成较长的 reasoning 而 latency 爆掉;ERank 把 token 长度直接进 reward,让模型在保持排序质量的同时学会“短决策”。在落地上,可以先用现有点击日志蒸馏 SFT,再用 GRPO 风格的 listwise reward 做轻量 RL,并把推理 token 数作为辅助 reward 信号——这能拿到 LLM reranker 的相关性增益,同时把 RT 控制在双塔召回 + cross-encoder 的可接受区间。