Generative Pseudo-Labeling for Pre-Ranking with LLMs — 深度解读

目录 · 6 节

1问题与动机 2方法概述 3核心技术贡献 4实验结果分析 5局限与未来方向 6工业实践意义

对预排序团队来说，GPL 的重点不是把 LLM 放到线上打分，而是把 LLM 当作离线监督生成器，修补曝光日志覆盖不到的候选空间。这个设计适合社区搜索/推荐里的冷内容、长尾帖子和新作者分发：用语义锚点扩充训练标签，再让轻量预排序模型承接线上流量，可在延迟约束内降低热门内容偏置。

1. 问题与动机

本文聚焦于工业推荐系统级联架构（召回→预排序→精排→重排）中预排序阶段的训练-服务偏差（Train-Serving Gap）问题，也称为样本选择偏差（Sample Selection Bias, SSB）。

核心矛盾：预排序模型训练时只能使用已曝光物品的交互数据 $D_{e} = {(u, h, y_{u, h})}$ ，但在线服务时却需要对召回阶段返回的所有候选物品（含大量未曝光物品）打分。这导致了训练数据分布与服务数据分布的严重不匹配。

为什么重要？

假阴性污染：传统二分类方法将未曝光物品一律当作负样本，但其中很多可能是用户真正感兴趣的，只是没被曝光——这是典型的"假阴性"问题
长尾内容被压制：曝光偏差形成"马太效应"，热门物品获得更多曝光→更多正反馈→更高排名，而长尾内容几乎没有训练信号，持续被低估
多样性受损：偏差使推荐结果过度集中于少数热门品类，损害用户体验和平台生态

现有方案各有缺陷：随机探索（Exploration）损害用户体验且成本高；知识蒸馏从精排模型继承偏差；对抗域适应训练不稳定且依赖有偏交互图。本文动机在于寻找一个既无偏又离线、不增加在线延迟的解决方案。

2. 方法概述

本文提出 GPL（Generative Pseudo-Labeling） 框架，核心思路是：利用 LLM 作为"无偏标注员"，基于内容语义为未曝光物品生成伪标签，然后与真实标签联合训练预排序模型。

整体流程分为两个离线阶段：

阶段一：伪标签生成

用户行为序列 → 内容语义编码（CLIP） → RQ-VAE量化为语义ID
→ LLM（LoRA微调Qwen2.5-0.5B）预测用户未来兴趣锚点
→ 在冻结的多模态空间中与未曝光候选物品匹配 → 输出伪标签

阶段二：双标签融合训练

$L = L_{a l} (D_{e}) + λ \cdot L_{pl} (D_{u})$
其中 $L_{a l}$ 是真实标签的交叉熵损失， $L_{pl}$ 是经不确定性加权的伪标签损失。通过置信度校准机制控制伪标签噪声。

关键设计原则：全程基于内容语义（content-only），与交互数据解耦，从而避免曝光偏差的传播。

3. 核心技术贡献

3.1 基于内容的语义ID体系（Content-Grounded SID）

使用冻结的 CLIP 编码器 + Q-Former 融合文本和图像特征，得到多模态嵌入 $e_{mm} \in R^{d}$
通过 RQ-VAE（Residual Quantized VAE）将连续嵌入量化为层次化离散语义ID： $s = (s^{(1)}, ..., s^{(L)})$
关键创新：完全不使用行为共现信息训练 RQ-VAE，仅基于内容重构损失。论文实验表明，虽然加入共现对比损失能在已曝光数据上提升 AUC* 约 0.003，但会损害长尾物品的语义分辨率。这是一个重要的工程权衡选择

3.2 LLM兴趣锚点生成

对冻结的 Qwen2.5-0.5B 施加 LoRA（rank=8）进行轻量适配
训练目标：基于用户行为序列的语义ID，做 Next Token Prediction
频率下采样：对 Top-10% 高频物品进行降采样，显式缓解流行度偏差
推理时使用层次化 Beam Search（宽度 B=32）生成多样化兴趣锚点集合 $A_{u}$
SID → 物品的映射覆盖率 >98.5%，未命中时使用最近邻检索

3.3 匹配与打分机制

在冻结的多模态空间中计算兴趣锚点与候选物品的相似度
采用 Max-Pooling 策略（而非 Mean-Pooling）： $r_{u, h} = Sigmoid (max_{a_{i} \in A_{u}} \frac{c o s ( f _{e} ( a _{i} ) , f _{e} ( h ))}{τ})$
Max-Pooling 强调最强语义匹配，抑制不相关锚点的噪声——消融实验显示 Max-Pooling 相比 Mean-Pooling 在 HR@3 上从 0.5072 提升至 0.5254

3.4 三维不确定性校准（核心区别于简单蒸馏）

这是本文最精细的技术设计，从三个互补维度评估锚点可靠性：

维度	公式	含义
语义离散度 $σ_{u}$	锚点间平均余弦距离	高值=生成不稳定（认知不确定性）
历史一致性 $ρ_{b}$	锚点与历史交互的平均余弦相似度	低值=偏离用户已知偏好
LLM内在置信度 $conf_{b}$	生成序列的平均对数概率	低值=模型自身不确定（随机不确定性）

最终锚点级权重： $w_{b} = exp (- σ_{u}) \cdot \frac{e x p ( w ~ _{b} )}{\sum _{b^{'}} e x p ( w ~ _{b^{'}} )}$

与现有方法的关键区别：

vs. 知识蒸馏：不从有偏的精排模型继承偏差，标签来源是基于内容的LLM
vs. 对抗域适应：无需不稳定的对抗训练，且不依赖有偏交互图
vs. 随机探索：纯离线操作，不影响线上用户体验

4. 实验结果分析

离线实验（淘宝工业数据集 + Taobao-MM）

GPL 在所有指标上显著超越全部基线：

方法	HR@3	HR@10	AUC	GAUC
BC（二分类）	0.4795	0.8102	0.6999	0.6058
KD（蒸馏）	0.5047	0.8334	0.7120	0.6186
DAMCAR（最强基线）	0.5191	0.8498	0.7206	0.6277
GPL	0.5254	0.8680	0.7299	0.6338

在线A/B实验（淘宝，数亿日活用户）

指标	提升
CTR	+3.07%
IPV（商品详情页浏览）	+3.53%
CTCVR（转化率）	+2.51%
UV3（活跃用户数）	+1.50%
停留时长	+2.16%

在这种体量的平台上，CTR +3% 是非常显著的提升。

消融实验关键发现

去掉语义ID（直接用Item ID）：HR@3 降至 0.5158 → 语义ID是泛化到长尾的关键
去掉真实标签：HR@3 暴跌至 0.3687 → 伪标签不能独立支撑训练，双标签融合不可或缺
去掉置信度加权：HR@3 降至 0.5215 → 不确定性校准对抑制噪声重要
语义离散度是置信度机制中贡献最大的维度

多样性分析

基线：Top-10 品类占推荐结果的 70.80%
GPL：降至 45.91%，相对降幅 >35%
这证明 GPL 显著改善了推荐多样性，打破了热门品类的垄断

LLM规模权衡

0.5B 模型：0.30 GFlops/token，AUC 0.7299
7B 模型：5.25 GFlops/token，AUC 0.7354
效果仅提升 0.76%，但计算成本增加 17.5 倍 → 小模型性价比极高

5. 局限与未来方向

论文中可识别的局限

LLM幻觉风险：即便有置信度加权，LLM 生成的兴趣锚点仍可能包含"合理但不真实"的偏好。 $λ_{2}$ 过大会放大幻觉影响
冷启动用户：对行为序列极短的新用户，LLM 的 Next Token Prediction 缺乏足够上下文，生成质量可能下降（论文未专门讨论）
SID覆盖率的尾部：虽然 >98.5% 覆盖率已经很高，但剩余 1.5% 依赖近邻检索的物品可能引入额外噪声
离线更新延迟：伪标签每日批量生成（96 张 H20 GPU，6小时），无法实时反映用户兴趣变化，对时效性强的场景（如热点事件）存在滞后
仅验证于电商场景：尽管方法具有通用性，但实验仅在淘宝电商平台验证，在视频推荐、新闻推荐等内容分布差异大的场景中效果待验证

未来改进方向

增量更新机制：将离线批量生成改为流式/增量更新，缩短伪标签更新延迟
多轮反馈闭环：利用线上反馈修正 LLM 的生成策略，形成"生成→验证→修正"的迭代优化
跨域迁移：利用 LLM 的通用知识能力，探索跨场景（电商→短视频）的伪标签迁移
更强的不确定性建模：引入贝叶斯方法或 Conformal Prediction 替代当前的启发式三维加权
与在线探索的结合：用 GPL 生成的伪标签指导在线探索策略，实现离线+在线的协同

6. 工业实践意义

对预排序系统的直接价值

本文对工业搜推广系统有多层面的借鉴意义：

1. 零延迟部署范式

GPL 的全离线设计是最大的工程亮点。在工业系统中，预排序阶段对延迟极其敏感（通常 <10ms 处理数千候选），GPL 将所有重计算放到离线：

多模态嵌入预计算并缓存
LLM推理是 per-user（而非 per-candidate），效率提升 6 倍
匹配和加权仅需轻量 CPU 计算

这意味着不需要改动任何线上服务架构，只需要在训练数据构建环节增加伪标签，落地门槛极低。

2. LLM作为"数据增强引擎"的新范式

本文开创性地将 LLM 定位为离线数据增强工具而非在线推理组件。这一思路可以推广到：

搜索系统：为未被点击的相关文档生成伪相关性标签，缓解位置偏差
广告系统：为低曝光广告生成质量伪标签，改善广告冷启动
内容分发：为新发布内容预估质量分，指导初始流量分配

3. 长尾内容发现

实验证明 GPL 对长尾物品的提升尤为显著（低曝光物品 CTR 提升 1-7%），且推荐多样性大幅改善（品类集中度从 70.8% 降至 45.9%）。这对追求平台生态健康的业务目标至关重要——更好的长尾分发意味着更多创作者/商家获得流量，促进平台供给侧的正向循环。

4. 小模型优先的实用哲学

0.5B 模型与 7B 模型效果差距仅 0.76%，但计算成本差 17.5 倍。这为工业界提供了重要参考：在离线伪标签生成场景，小模型+精细工程（LoRA、频率下采样、不确定性校准）足以获得极高性价比。不必盲目追求模型规模。

5. 可复用的技术组件

以下组件可独立迁移到其他系统：

RQ-VAE 语义ID：将物品从 ID 空间映射到语义空间，天然支持泛化到新物品
三维不确定性校准：通用的伪标签质量评估框架，适用于任何需要伪标签的场景
Max-Pooling 匹配策略：在用户多兴趣表示与候选匹配时，比 Mean-Pooling 更鲁棒

关键Takeaway

在推荐系统中，数据质量可能比模型复杂度更重要。GPL 的成功本质上是通过 LLM 改善了训练数据的覆盖范围和标签质量，而非替换预排序模型本身。这为"用 AI 改善 AI 的训练数据"这一方向提供了强有力的工业验证。