GRADE: Personalized Multi-Task Fusion via Group-relative Reinforcement Learning with Adaptive Dirichlet Exploration
针对推荐系统多任务融合中'一刀切'权重无法适配异质用户群体的问题,提出 GRADE 个性化多任务融合框架。通过组相对强化学习将用户分组并为各组学习个性化融合策略,结合自适应 Dirichlet 探索平衡探索与利用。在快手应用内搜索场景全量上线,日活用户数亿级,A/B 实验取得 CTR +0.595%、CVR +1.193%、OPM +1.788%、订单量 +1.568% 的显著提升。
INSIGHTGRADE 的核心价值在于将多任务融合从'全局统一权重'提升到'用户组级个性化权重',解决了不同用户群体对 CTR/CVR/停留时长等目标偏好不同的现实问题。Dirichlet 分布作为融合权重的先验,天然满足权重和为1的约束且支持灵活的形状控制。在快手的大规模验证表明,个性化融合相比统一融合在多个业务指标上都有显著增益,且 RL 训练过程稳定可收敛。