LinkedInStochastic Primal-Dual Decoding for Multiobjective Generative Recommender Systems
Spotify📖 有深读 · 7 分钟论文把生成式推荐的逐项解码表述为在线约束优化，在每次选择时依据剩余约束裕量动态调节相关性与公平性、属性覆盖等辅助目标，并以随机原始—对偶近似实现。方法无需修改或重训底层生成模型；离线实验与大规模线上 A/B 均验证有效，辅助目标提升 1.8%，且用户满意度没有损失。
INSIGHT多目标控制不必全部写进训练损失，推理时根据 slate 当前状态和剩余预算更新对偶变量，也能获得可解释、可调节的目标权衡。这对已有生成式召回或重排系统尤其实际：可把多样性、生态约束和业务配额作为轻量解码层接入，降低反复训练成本，同时用约束违背与用户满意度双重护栏验证上线。
SPDD 多目标生成式推荐深度解读
1. 问题与动机
生成式推荐按顺序生成 slate，当前选中项会改变后续项的条件概率，因此传统“生成完再重排”忽略了强序列依赖；固定加权和虽然能在解码中加入多样性、公平性或品类配额，却无法根据目标已经完成多少动态收放权重。另一条路线是在训练损失里加入辅助目标，但每次业务目标、商品属性或配额变化都重训大模型，在 Spotify 规模下并不现实。论文要解决的是：保持原有单目标生成模型不变，仅加一个轻量推理解码层，使 slate 达到给定辅助约束，同时尽量不损失用户消费。其关键观察是约束“剩余缺口”会随位置变化：前几个位置应更积极完成配额，一旦满足就应把权重还给相关性。
2. 方法详解
作者把长度 K 的 slate 看成在线分配。候选 j 在位置 k 的基础分是条件相关性 pθ(tj|x,t1:k-1)，辅助贡献是 b(tj)，目标总贡献为 R，每个候选最多选一次、每个位置选一个。对辅助约束引入非负拉格朗日乘子 λk 后，每步选择 argmax_j[pθ+λk b(tj)]。λ 大时倾向约束项，λ 小时倾向相关性。
选中项目后，以负熵 Bregman 距离做 mirror descent，得到乘法更新：λ(k+1)=λk exp{-η[b(tj*)-R/K]}。若本步贡献低于平均所需 R/K，指数为正、λ 增大；若贡献超额，λ 减小。于是算法无需预知未来相关性，也不用修改底模参数。步长 η 是唯一核心旋钮：较大 η 更严格追约束，较小 η 保留消费。复杂度对 slate 长度 K 与候选数 M 均为线性。理论在相关性随序列以零均值高斯扰动渐变的假设下，给出约束违背 O(1/η log(1/(bmax-R/K))) 与 regret O(1/η+ηK+(4/3)σx K^(3/2) sqrt(2log(2MK/δ))) 上界。
离线覆盖三类数据与骨干：播放列表用两周内 6200 万用户、4200 万曲目、约 400 亿交互训练 SASRec；首页货架用一周 5.3B 曝光、5 亿请求训练 TransAct；Amazon Sports & Outdoors 用 500 万交互、100 万以上商品训练经电商数据微调的 LLaMA 型 LM-Rec。所有底模只优化相关性，再统一叠加 EPR、在线固定加权 WA、多目标 UCB/Thompson bandit 或 SPDD，隔离解码层贡献。论文未披露优化器、GPU、batch size 与训练步数，因为核心方法不重训底模，但这仍限制完整复现。
3. 核心技术贡献
- 把多目标生成改写成带约束的在线分配，而非静态标量化。动态 λ 精确对应剩余 slack，机制上解释了为何早期位置可先完成辅助目标、随后恢复相关性。
- 推理插件与底模解耦。同一 SPDD 覆盖 SASRec、TransAct 和 LLaMA 型推荐器，也覆盖音乐播放列表、首页货架和电商商品；属性与业务目标变化只需更新 b、R、η，不必重训。
- 给出约束违背和 regret 的显式界，把 η 从经验权重变成可解释的运营旋钮。大目标用大 η 保证完成，小目标用小 η 减少消费损失，这一点在实验 Pareto 前沿上得到验证。
- 线上行为揭示位置策略：SPDD 在第 1 位稍多放辅助集合项目且几乎不伤消费，之后迅速降低其占比并提高后续消费；固定权重无法随完成进度切换。
4. 实验结果分析
离线以 NDCG@k、Precision@k 同时度量用户消费和指定内容集合的 stream share，并扫描 R 或各基线权重形成 Pareto 曲线。SPDD 在三个领域几乎一致支配 EPR、WA、MB-UCB 与 MB-TS。EPR 在强序列依赖的播放列表上被明显支配，在电商中因辅助子集稀少、基础模型很少先生成这些商品，事后重排甚至无法达到高目标份额。WA 普遍优于 EPR，但固定权重和 bandit 探索都未形成稳定优势。
| 线上方案 | 指定内容 stream share | 总播放时长 | Skip rate 相对变化 |
|---|---|---|---|
| Control：单目标 SASRec | 基准 | 基准 | 基准 |
| WA 固定加权 | +3.60% | 无显著损失 | +0.42% |
| SPDD | +5.44% | 无显著损失 | +0.16% |
线上实验约 100 万用户、覆盖 150 多个国家、重排 60 万个个性化播放列表。与 WA 相比，SPDD 的辅助份额多提升 1.84 个百分点，同时 skip rate 恶化更小；论文摘要将其概括为辅助目标约 +1.8%、用户满意度零成本。按位置分析，优势来自“先满足、后回归消费”，而非整条 slate 持续抬高辅助内容。η 消融也符合理论：低目标时小 η 的消费更好，高目标时大 η 才能压低约束违背。
5. 局限与未来方向
作者在结论明确提出两条未来方向：从统一辅助目标扩展到个性化用户级目标，以外环协调长期满意度；从当前线性加总约束扩展到更复杂的非线性约束。现有理论依赖相关性扰动为受控高斯过程、基础相关性跨项目独立的假设，真实生成模型可能出现主题跳转与非平稳突变。实验因敏感性隐藏了辅助目标语义，读者无法判断 5.44% 对生态或公平性的实际价值；线上只验证 Spotify 播放列表，没有在线电商结果。方法还假定 b(tj) 可即时、可靠计算，多约束冲突、不可行 R、候选供给不足时的回退策略未充分展开。
6. 工业实践意义
SPDD 很适合已有生成式推荐底模但业务目标频繁变化的团队。接入只需在 logits 后增加候选辅助分、对偶状态和一次乘法更新，延迟复杂度仍为 O(KM)，比为每个配额重训或维护多套模型轻得多。上线应先用日志回放扫描 η/R 的 Pareto 前沿，验证目标可行性，再按用户随机实验同时看主消费、辅助份额、skip/负反馈和长期留存。多约束可以为每个约束维护 λ 向量，但应设置 λ 上限、候选不足降级和目标优先级，防止不可行约束压垮相关性。对社区 UGC 推荐，b 可表示新作者曝光、内容多样性、安全优质内容或本地供给，R 表示单 slate 最低覆盖；关键是只在生成过程中动态控制，而不是生成后硬插内容。论文的线上结果说明，提前少量完成配额、随后迅速回归相关性，可能比全列表固定降权更少伤害体验。
补充实施检查：工程实现应把 λ、当前 slack、每位置选中原因写入可观测日志，既便于解释异常 slate，也能发现目标 R 与候选供给不匹配。若辅助分来自另一个模型，需要做分数归一化和漂移监控，否则 λ 的业务含义会随 b 的尺度变化。对长期目标，可保持单请求 SPDD 作为内环，再由低频外环按用户或人群更新 R，避免把跨天反馈直接塞进毫秒级解码。
最后，在线实验应预注册主指标与护栏，报告置信区间，并在不同国家、活跃度和内容供给人群中检查异质性；全局平均无损并不保证每个用户群都无损。同时需要设置逐日累计约束与紧急关闭开关，避免单次 slate 合规但长期曝光分布漂移。
Infobip