On-Policy Distillation Meets Off-Policy GRPO: Training Compact Instruction-Following Rerankers
研究用离策略 GRPO 强化 4B 教师,再让 1B 学生从自己的策略采样排序并接受教师软奖励,解决固定教师排序限制学生探索的问题。教师训练使用 8.8 万条指令样本;学生在 MAIR-11 上 nDCG@6 达到 0.7670,比离线列表蒸馏高 4.6 个点,在 MAIR-Full 上达到 0.6808。
INSIGHT在社区搜索中,用户约束与长尾意图容易偏离标准重排训练分布,可优先验证学生自产候选排序上的奖励蒸馏。教师与学生不必逐项复制排序轨迹,而应对学生实际产生的结果给予连续质量反馈;上线前仍应以 UGC 人工标注集、nDCG 与推理延迟共同决定是否替换现有精排。