1. 问题与动机

现代电商推荐系统需要同时优化多个目标（CTR、CVR、订单量、GMV），通常通过多任务学习预测各目标分数后进行融合排序。工业实践中普遍采用预定义的静态公式（如加权求和或乘积）将多目标分数融合为单一排序分。然而，这种「一刀切」策略忽略了用户异质性——浏览型用户（exploration phase）和购买型用户（purchasing phase）对不同目标的偏好权重截然不同。

已有的 RL 方法（如 Actor-Critic、DDPG）试图通过学习动态融合权重来解决这一问题，但面临三个核心挑战：(1) Actor-Critic 架构中 Critic 的不稳定训练导致收敛困难；(2) DDPG 等方法每次只探索单一权重组合，搜索效率低下；(3) 稀疏的用户反馈信号（如转化、下单）使得强化学习的奖励信号质量差。快手搜索电商场景数据显示，日均搜索会话达18亿级，但转化信号极度稀疏，这进一步加剧了 RL 训练的难度。

2. 方法详解

GRADE 的整体架构包含四个模块：特征中心+预排序模型、多任务学习模型（预测 pCTR/pCVR/pOPM/pGPM）、GRADE 策略网络、融合排序模型。

策略网络设计：采用类 MMoE 结构，输入包括用户画像、行为历史和查询属性。关键设计是物品无关（item-agnostic）——策略网络不接收物品特征，输出层使用 softmax 保证权重归一化。这意味着每个请求只需一次策略推理，即可为该用户的所有候选物品生成统一的融合权重。

两阶段训练策略：

第一阶段：有监督 Learning-to-Rank 初始化。使用 LambdaLoss 框架构建多目标损失 L_total = Σα_obj × L_λ^obj，通过 pairwise 方法按对排名指标的影响加权样本。这一阶段为策略网络提供稳定的初始化基线。

第二阶段：基于 GRPO 的强化学习微调。对每个状态 q，从旧策略采样 G=20 组权重向量，计算各组的奖励并归一化为相对优势 Â_i = (r_i - mean) / std。核心优化目标采用 PPO-style 裁剪 + KL 散度正则化：J_GRPO(θ) = E[min(r_i(θ)Â_i, clip(r_i(θ), 1-ε, 1+ε)Â_i)] - ρD_KL[π_θ || π_ref]。

Dirichlet 探索机制：GRADE 的核心创新之一。传统 Gaussian 探索需要 softmax 后处理才能满足权重约束（非负、和为1），而 Dirichlet 分布天然满足这些约束。参数构造为 α = α̂ · π_θ(q)，期望值等于策略输出。浓度参数 α̂ 控制探索强度：α̂ 小时探索性强，α̂ 大时偏利用。训练中采用余弦退火策略，α̂ 在5-15之间每50000步周期性变化。

复合奖励函数：R_total = λ₁R_post + λ₂R_prior + λ₃R_format（λ₁=1.0, λ₂=0.3, λ₃=0.05）。

(1) 后验奖励 R_post：基于真实用户反馈计算 NDCG，覆盖 CTR/CVR/OPM 的二值相关性和 GPM 的分级相关性。

(2) 先验知识奖励 R_prior：使用 MTL 模型预测分数（pCTR/pCVR/pGPM）作为稠密奖励信号，缓解稀疏转化信号导致的训练不稳定。

(3) 权重格式奖励 R_format：条件触发的正则化，使用门控函数防止权重极化。例如限制 OPM 权重不超过 CTR/CVR/GPM 最大权重的 α%，限制 CVR 权重不超过其他权重的 β%。门控函数分三段：负区域惩罚不达标、[0,τ] 区间正奖励、超过 τ 惩罚过度集中。

训练配置：Batch Size=2048，Group Size=20，数据集为快手电商18亿搜索会话，10%作为测试集。

3. 核心技术贡献

贡献一：无 Critic 的 GRPO 范式应用于 MTF。传统 Actor-Critic 方法中 Critic 的训练不稳定是 RL-based MTF 的主要瓶颈。GRADE 通过组内相对偏好学习完全消除了 Critic，相对优势的计算只需同组采样即可完成，训练稳定性大幅提升。相比 DDPG（每次探索1个权重组合），G=20 的组采样提高了搜索效率。

贡献二：Dirichlet 分布的原则性探索。在多任务融合权重的单纯形空间上，Dirichlet 分布是最自然的选择。与后处理式的 Gaussian+softmax 相比，Dirichlet 采样效率更高且单参数 α̂ 即可控制探索-利用平衡。余弦退火策略避免了固定探索率的局限性。

贡献三：多信号复合奖励设计。消融实验表明，仅用后验奖励会导致 reward hacking——CTR 提升1.04%但 GPM 下降0.46%。先验+格式奖励的加入使 CVR 额外提升0.64%并消除了 GPM 下降，实现了多目标的平衡优化。

贡献四：完整的工业级部署验证。在快手电商搜索场景全量上线，日活数亿用户，A/B 实验覆盖多个核心业务指标。

4. 实验结果分析

离线实验（18亿搜索会话，10% holdout）：

GRADE 在转化相关指标（CVR/CTCVR/GPM）上全面领先，CTR 略低于有监督策略但仍大幅优于公式法。

在线 A/B 实验（全量部署）：GRADE 取得 CTR +0.595%、CVR +1.193%、OPM +1.788%、订单量 +1.568% 的显著提升（p<0.05）。值得注意的是，GRADE 主动牺牲了部分 CTR（对比有监督策略的 +0.73%）换取了大幅的 CVR (+1.19% vs +0.03%) 和 OPM (+1.78% vs +0.56%) 提升，体现了其在多目标间的智能权衡。

消融实验关键发现：

(1) Group Size：G=20 最优。G 过大（30-40）导致奖励同质化，相对优势信号质量下降。

(2) 浓度参数：余弦退火（5-15）显著优于任何固定值。固定 α̂=5 时 CTR 偏低，固定 α̂=15 时 CVR 偏低，退火策略兼顾两者。

(3) 奖励成分：仅用 R_post 导致 reward hacking（GPM -0.46%）；完整复合奖励消除了此问题并在 CVR 和 OPM 上分别额外提升 0.64% 和 0.85%。

5. 局限与未来方向

论文未设显式局限性章节，但作者提到「these hyperparameters were tuned for our specific application; transferring GRADE to other scenarios would likely require re-tuning」，承认了超参数的场景依赖性。

其他可识别的局限：(1) 策略网络的物品无关设计虽然提升了推理效率，但限制了物品级别的个性化能力——对于需要针对不同品类调整融合权重的场景可能不够灵活；(2) G=20 的组采样在每个请求中引入了额外的计算开销，论文未量化具体的延迟影响；(3) 离线-在线差距（离线 NDCG 改进 +0.072 vs 在线 OPM +1.78%）表明离线指标与在线效果的相关性有待进一步研究。

6. 工业实践意义

直接可采纳的方案：(1) 对于已有多任务预测模型的推荐系统，GRADE 提供了一套完整的个性化融合方案，从有监督初始化到 RL 微调的两阶段范式降低了部署风险；(2) Dirichlet 探索机制可直接替换现有的 Gaussian 探索，无需修改其他组件；(3) 复合奖励设计中的先验知识奖励思路可推广到任何奖励稀疏的 RL 推荐场景。

与 xMTF 的互补关系：xMTF 关注融合函数本身的表达力（从公式空间到函数空间），GRADE 关注融合权重的个性化（从全局到用户组级别）。两者可以结合——用 xMTF 的函数空间表达力替换 GRADE 的加权求和，再用 GRADE 的分组 RL 实现个性化。

部署注意事项：(1) GRPO 的 G=20 组采样意味着每个请求需要评估20组权重方案，实际部署时需评估是否可接受的延迟开销；(2) 复合奖励中的格式奖励超参数（α%, β%）体现了人工经验注入，不同业务场景需要重新调优；(3) 余弦退火策略的周期（50000步）需根据实际数据量和训练频率调整。

A/B 实验结果的解读：GRADE 的在线结果显示了一个重要的策略取舍——它选择了「少点击、多转化」的策略（CTR +0.60% < 有监督的 +0.73%，但 CVR +1.19% >> +0.03%）。这在电商搜索场景是合理的，因为转化和订单量才是核心商业目标。对于以点击为核心指标的场景（如新闻推荐），可能需要调整奖励权重。