SaFRO: Satisfaction-Aware Fusion via Dual-Relative Policy Optimization for Short-Video Search — 深度解读

目录 · 6 节

1问题与动机 2方法详解 3核心技术贡献 4实验结果分析 5局限与未来方向 6工业实践意义

搜索 CTR 并不等于满意度，特别是结果页快速返回、重复改写或后续留存等 query 级行为能补足 item 点击信号。社区搜索可借鉴其分层奖励与目标关系建模，但应先离线回放验证奖励代理是否抗位置偏差，再以小流量优化融合层，避免 RL 直接改变召回与精排主模型造成不可控波动。

1. 问题与动机

短视频搜索系统中的多任务融合（Multi-Task Fusion, MTF）是将异构预测信号（点击率、播放时长、点赞率等）聚合为统一排序分的关键环节。现有方法主要优化即时参与度指标，但这往往与长期用户满意度不一致——用户可能点击了但并不满意。

将强化学习（RL）应用于搜索满意度优化面临两个根本挑战：(1) 数据极度稀疏——在快手平台上，搜索的正向交互密度仅为推荐 feed 的十分之一，用户搜索行为序列长度比推荐序列短两个数量级；(2) 意图约束——搜索由明确的 query 驱动，用户通常只浏览少量结果就结束会话，使得将长期结果归因到具体排序决策变得极其困难。

2. 方法详解

2.1 满意度感知奖励建模

SaFRO 创新性地构建 query 级（而非 item 级）满意度代理信号：

查询重构（Query Reformulation）：用户是否发出语义相关的后续查询，作为不满意的强负向指标。若发生重构，满意度奖励直接置零。
会话间隔（Session Gap）：当前查询与下次查询的时间间隔，经用户历史 β 分位数基线归一化后指数衰减： $s_{g a p} = exp (- \tilde{g} / T)$ 。

两者通过复合公式融合： $r_{s a t} = (1 - I_{re f or m}) \cdot [α \cdot exp (- \tilde{g} / T) + (1 - α) \cdot I_{re t}]$ ，其中 α=0.5 为最优平衡点（Pearson 相关性分析验证）。

在此基础上训练列表级奖励模型 $R_{ϕ}$ ，将用户-query 上下文和排序列表特征映射为标量满意度分数。

2.2 Dual-Relative Policy Optimization (DRPO)

DRPO 是论文的核心算法创新，在标准 GRPO 的组内相对优势之上引入批次级上下文：

双重优势分解：对每个状态 $q_{i}$ 生成 G 个候选动作，计算：

组内相对优势： $A_{g}^{i, g ro u p} = (r_{g}^{i} - μ^{i}) / σ^{i}$
批次相对优势： $A_{g}^{i, ba t c h} = (μ^{i} - μ_{ba t c h}) / σ_{ba t c h}$
双重优势： $A_{g}^{i, d u a l} = A_{g}^{i, g ro u p} + A_{g}^{i, ba t c h}$

关键性质：(1) 不变局部排序——任意两个动作的偏好序仅由组内项决定，保持细粒度区分；(2) 梯度自然分解为两项——Term I 负责组内排序，Term II 作为动态调制因子，放大高质量 query 的梯度并抑制低质量 query 的梯度。

2.3 复合奖励与 TRAF 模块

训练使用复合奖励 $r = r_{e n g} + r_{s a t} + r_{f m t}^{a} + r_{f m t}^{r}$ ，包含参与度奖励（NDCG 风格）、满意度奖励、以及格式约束（权重和约束和相关性约束）。

Task-Relation-Aware Fusion (TRAF) 模块通过可学习的 task 关系矩阵建模任务间依赖： $\tilde{z}_{i} = g a t e_{i} \cdot z_{i} + \sum_{j} so f t ma x (e_{ij}) \cdot z_{j}$ ，使融合权重能根据上下文自适应调整。

2.4 训练设置

基于快手搜索平台 21.5 亿 session 数据训练。DRPO 使用组大小 G=32，熵系数 β=0.05，PPO 风格的裁剪比率。

3. 核心技术贡献

Query 级满意度建模：首次在工业搜索系统中提出基于查询重构率和会话间隔的满意度代理，解决了搜索场景中 item 级信号稀疏的问题。相比 item 级建模，query 级信号与搜索的"一次查询多次浏览"交互模式更匹配。

DRPO 算法：在 GRPO 基础上引入批次级上下文，数学上证明了梯度分解为组内排序项和批次重加权项。消融实验显示去除批次优势后 NDCG 和满意度均显著下降。

TRAF 融合模块：通过注意力机制建模任务间关系，使权重分配能感知任务间的耦合关系（如长播与点击的正相关、相关性与点击的互补关系）。

端到端 RL 优化搜索满意度：将参与度、满意度和格式约束统一到复合奖励函数中，在工业规模搜索系统上实现了 RL 的成功应用。

4. 实验结果分析

离线实验

在快手 21.5 亿 session 数据集上，SaFRO 在所有 7 个指标上达到 SOTA：

指标	SaFRO	最强基线(AURO)	提升
NDCG	0.6431	0.6384	+0.7%
Satisfaction	0.8022	0.7962(RLUR)	+0.8%
Relevance	0.8656	0.8467(AURO)	+2.2%
User Retention	0.8173	0.8054(DCN)	+1.5%

值得注意的是，传统 LTR 方法（LambdaRank/NeuralNDCG）在 NDCG 上表现可接受，但满意度和留存显著落后，验证了即时指标与长期满意度的脱节。

消融实验

去除满意度模型（w/o SAT）：满意度和留存急剧恶化，NDCG 也下降——证明满意度信号对短期指标也有正向作用
去除批次优势（w/o Batch-Adv）：NDCG 和长期指标均显著下降
去除 TRAF 模块：除相关性外各指标一致下降

在线 A/B 实验

在快手搜索平台 10% 流量部署两个月：

查询重构率：-0.319%（满意度提升的直接证据）
点击率：+0.136%
长播比率：+0.495%
观看时长：+0.611%

留存轨迹在 60 天内持续与基线拉开差距（p<0.05）。

超参数敏感性

组大小 G：G=32 在满意度和留存上最优，G=16 在 NDCG 上最优，选择 G=32 作为平衡
熵系数 β：倒 U 形曲线，β=0.05 最优；β=0.01 探索不足，β=0.30 过度正则化

5. 局限与未来方向

作者明确指出的局限：

当前聚焦于离散动作空间（通过权重分箱），尚未探索连续动作空间
满意度模型的训练数据质量依赖性
超参数需要针对数据集调优

作者提出的未来方向包括扩展到其他搜索模态、利用 LLM 获取更丰富的状态表征、以及探索生成式架构突破传统打分方法的局限。

6. 工业实践意义

直接可采纳点：

满意度代理设计：查询重构率和会话间隔是低成本且通用的满意度信号，任何搜索系统都可以构建。对 UGC 社区搜索，用户是否重新搜索、何时离开是现成的满意度度量。
DRPO 算法：相比标准 GRPO，实现复杂度增加有限（仅额外计算批次级统计量），但提供了更稳定的训练和更好的泛化。

部署考量：

SaFRO 已在快手搜索（4 亿+ DAU、8 亿+ 内容、21.5 亿 session）上线，证明了工业可行性
RL 训练需要在线策略采样，对基础设施有一定要求
满意度奖励模型需要定期更新以适应用户行为变化

适用场景：

特别适合即时参与度与长期满意度不一致的场景（短视频、UGC 内容、新闻搜索等）
搜索场景中 RL 数据稀疏是普遍问题，DRPO 的双重相对性设计为此提供了通用解法