FudanTaiji: Pareto Optimal Policy Optimization with Semantics-IDs Trade-off for Industrial LLM-Enhanced Recommendation
Kuaishou📖 有深读 · 7 分钟快手团队（Kun Gai、Peng Jiang）针对工业级 LLM4Rec 的两大瓶颈：SFT 阶段开放域推荐里 CoT 质量难衡量、难提升；RL 对齐阶段 LLM 语义奖励与推荐偏好奖励之间的 trade-off 被忽视。Taiji 是 LLM-as-Enhancer 框架：SFT 端用「逆向工程推理 + 开放式拒绝采样」生成高质量领域 CoT 数据；RL 端提出 Pareto Optimal Policy Optimization (POPO)，自适应调节语义奖励与推荐偏好奖励的交叉权重，在二者间逼近帕累托最优，从而把 LLM 的语义空间与推荐器的 ID 空间对齐。
INSIGHT工业 LLM4Rec 落地的真问题不是「能不能用 LLM」，而是 LLM 语义奖励和推荐 CTR/偏好奖励经常互相打架。Taiji 把它显式建成多目标帕累托优化（POPO），而非简单加权求和，这对做多目标排序的团队很有启发：reward 冲突应该用帕累托前沿来调，而不是手调权重。SFT 用拒绝采样自产领域 CoT 数据的做法，也为缺乏推荐场 CoT 标注的团队提供了冷启动数据生产范式。
Taiji 深度解读
1. 问题与动机
用 LLM "增强"工业推荐（LLM-as-Enhancer）已成趋势，但把 LLM 的语义空间与推荐器的 ID 空间对齐（通过 SFT/RL 后训练）一直很难。Taiji 来自快手（Kun Gai、Peng Jiang 团队），直指两个被忽视的瓶颈：(1) SFT 阶段——开放域推荐里"缺乏合理、系统的指标来准确衡量推荐专用 CoT 的质量"，导致没法判断生成的推理链好不好、怎么提升；(2) RL 阶段——现有方法"没有考虑两类异质信息之间的动态平衡"，即 LLM 的语义理解奖励与推荐偏好（CTCVR）奖励经常互相打架，固定权重加和会让一方压倒另一方。这个问题在工业场景尤其尖锐：语义对了但 CTR 没涨，或 CTR 涨了但模型只学会复读热门 ID、丢了泛化。论文要解决的是"如何让 LLM 既懂语义又服从线上偏好信号"。
2. 方法详解
Taiji 是 LLM-as-Enhancer 框架，四阶段流水线：数据构造（从快手平台采集用户画像和行为序列）→ 推理激活（SFT 注入高质量 CoT）→ LLM-推荐协同（POPO 平衡奖励）→ 在线排序（把 LLM 输出编码成特征喂给广告排序模型）。
SFT 端——逆向工程 CoT 数据生产：
- RUPR（Reverse-Engineered User Preference Reasoning）：用"用户真实下一个购买物料"作为 ground-truth 条件，喂给 QwQ-32B 反向蒸馏出推理链——即已知答案再让大模型补出"为什么是这个"的推理，保证 CoT 与真实偏好一致。
- ORFT（Open-Ended Rejection Sampling Fine-Tuning）：用 ground-truth 答案的困惑度（PPL）过滤 CoT 样本，只保留 PPL < R（中位数阈值 4.6）的样本，在 DeepSeek-R1-7B 上做 SFT。损失是标准自回归 NLL：L_ORFT=−(1/N)ΣΣ log P(tⱼ|qᵢ,t_<ⱼ)。
RL 端——Pareto Optimal Policy Optimization (POPO)：
两个奖励：语义奖励 r_s（预测物料与真实物料 embedding 的余弦相似度）、ID 协同奖励 r_id（来自生产排序模型的 CTCVR，即点击∧转化概率）。核心是动态权重调整（Eq.5）：w̃^(t)=w̃^(t-1)⊙exp(η^(t)·I^(t)/μ)，再归一化，其中 I^(t) 是梯度对齐指示器，衡量单个目标梯度与聚合目标梯度的协调度——哪个目标"拖后腿"就动态加权。还提供 POPO-light，用奖励统计量替代梯度计算，几乎零开销。组合奖励 r̃ᵢ=w_s^(t)·r_s + w_id^(t)·r_id，套进 GRPO 损失：L_POPO=E[min(ρA, clip(ρ,1−ε,1+ε)A) − β·D_KL]。
训练配置：快手 111 万用户记录（100 万 SFT / 10 万 RL / 1 万测试），base model DeepSeek-R1-7B，3 节点 × 8 张 A800；SFT 1 epoch lr=1e-7 batch 32；RL 1 epoch lr=2e-5 batch 16，rollout group G=4，最大 13K prompt / 2048 completion token。
3. 核心技术贡献
(1) 把奖励冲突显式建成帕累托优化：这是最有启发的贡献。语义奖励和 CTCVR 奖励异质且常冲突，传统做法手调固定权重加和，必然牺牲一方。POPO 用梯度对齐指示器在线动态调权，逼近帕累托前沿。消融显示 POPO 比固定权重 GRPO 在 Category L1 上 +11.61%、L3 上 +29%。
(2) 逆向工程 CoT 数据生产：开放域推荐没有现成 CoT 标注，RUPR 用"已知答案反推理由"绕开了这个冷启动难题。消融显示 RUPR 比直接蒸馏在 Category L1 准确率上 +19.83%。
(3) PPL 拒绝采样做质量过滤：用 ground-truth 答案困惑度作为 CoT 质量的可量化代理指标，解决了"CoT 质量无法衡量"的痛点，且阈值（中位数 4.6）可解释。
4. 实验结果分析
离线（1 万测试集）：Category L1 准确率 0.2433 vs backbone 0.1560（+55.96%）；Title Hit-Rate@50 0.0567 vs 0.0496（+14.31%）；CTCVR 0.003816 vs 0.003417（+11.68%）。POPO 在 6 个指标中 5 个超过固定权重 GRPO；POPO-light 以可忽略开销取得几乎相同效果。
在线 A/B（10% 流量，1 周）：整体 ADVV +2.83%、Revenue +3.30%；长尾用户 ADVV +5.26%、Revenue +5.32%——长尾收益明显高于大盘，说明 LLM 语义增强对数据稀疏的长尾用户帮助更大，这正是 LLM4Rec 最该发力的地方。
消融：RUPR 对 Category L1 贡献 +19.83%（vs 直接蒸馏）；POPO 对 Category L1 贡献 +11.61%、L3 +29%（vs 固定权重）。两个核心组件都被验证有效。
部署规模：自 2026 年 5 月起已在快手全量上线，服务 4 亿+ 日活。这是少有的给出真实线上规模和 A/B 数字的工业 LLM4Rec 论文。
5. 局限与未来方向
论文未设独立局限章节。隐含约束有几条：(1) 强依赖 teacher 模型 QwQ-32B 的质量，蒸馏天花板受限于教师；(2) ID 协同奖励需要生产排序模型实时提供 CTCVR，没有成熟排序基建的团队无法复现；(3) 对 PPL 拒绝采样阈值（中位数 4.6）敏感，阈值选择缺乏自适应机制；(4) 整套是 LLM-as-Enhancer 离线/近线产特征喂给排序模型，并非端到端在线生成，LLM 推理仍在离线侧，线上时延问题被规避而非解决。
6. 工业实践意义
对做多目标排序的搜推团队，Taiji 给出三条可直接落地的经验：(1) reward 冲突要用帕累托前沿调，别手调权重——语义目标和业务目标（CTR/CVR）几乎必然冲突，POPO 的"梯度对齐指示器动态调权"思路可迁移到任意多目标排序/多任务学习场景，且 POPO-light 几乎零成本。(2) 缺 CoT 标注就用逆向工程——RUPR"已知 label 反推 CoT"的范式，为推荐、搜索相关性等没有现成推理标注的场景提供了冷启动数据生产模板，再用 PPL 过滤质量。(3) LLM 增强优先打长尾——线上长尾用户收益（+5.3%）显著高于大盘（+3.3%），资源有限时应把 LLM 语义增强投向数据稀疏的长尾流量。部署上 Taiji 走的是 LLM-as-Enhancer 离线产特征路线（DeepSeek-R1-7B，3×8 A800），把计算密集部分推到离线、线上只查表，这与业界主流"LLM 不直接端到端在线推理"的工程共识一致，是当前可落地性最高的范式。对社区搜索，可借鉴其"语义 reward + 业务 reward 帕累托对齐"来平衡相关性与点击。
CAS
Meta
KAIST
UPenn