Credit-assigned Policy Gradient for Early Stage Retrieval in Two-stage Ranking
针对搜索/推荐/RAG 中两阶段排序(早期召回 ESR + 后排 LSR)端到端训练的难题,作者指出 vanilla policy gradient (V-PG) 在 ESR 上方差爆炸,因为它对整个候选集联合概率求梯度,忽略了单个候选的贡献。论文提出 credit-assigned policy gradient (CA-PG):把梯度归到「目标物品被任何候选集选中」的边际概率上,对候选集大小做了边际化。理论上证明在常见 LSR 假设下 CA-PG 与 V-PG 期望一致但方差大幅降低,在合成与真实数据上 NDCG/Recall@K 明显优于 V-PG 和 distillation 基线。
INSIGHTCA-PG 提供了一个真正可工业落地的 ESR 端到端 RL 训练方案:核心改动只在策略梯度的归因公式,不需要改变现有 two-stage 架构。对社区搜索的直接价值是把目前主要用 distillation/CTR 标签训练的召回侧升级为以下游 nDCG/CTR 为目标的强化学习训练,且不会因候选集动辄 1000+ 而方差崩溃。论文里 marginal probability 重写技巧也可以迁移到推荐多目标排序中的候选集级 reward 分解问题。