Objective Shaping with Hard Negatives: Windowed Partial AUC Optimization for RL-based LLM Recommenders
论文从理论视角分析了用 RL 优化 LLM 推荐器时为何 beam-search 负样本比随机负样本好。作者证明:(i) 在二元奖励下,使用 GRPO 优化 LLM 推荐器在理论上等价于最大化 ROC-AUC,但与 Top-K 推荐目标错配;(ii) 把随机负样本替换为 beam-search 负样本会把目标重塑为 Partial AUC,与 Top-K 指标对齐更好。基于这一洞察,论文提出 Windowed Partial AUC(WPAUC),将 FPR 限定在窗口 [α, α+d] 直接对齐 Top-K,并给出对应的负采样和 reward shaping 实现。
INSIGHT把 LLM 排序训练目标显式与 Top-K 业务指标对齐,是当前 RL-推荐最值得借鉴的方向。WPAUC 给出一条工程友好的路径:保持外部 RL 框架不变,仅替换 group 内采样策略与 advantage 计算,就能让 GRPO 类训练自动对齐 Top-K(社区搜索的 nDCG@10/CTR@K 几乎完全是 Top-K 指标)。这意味着任何已经在用 GRPO/PPO 微调 LLM 排序器的团队,可以低成本接入 WPAUC 来提升线上指标。