1. 问题与动机
生成式推荐系统（如 Google 的 TIGER）通过语义 ID 将推荐建模为序列生成任务，在有机内容检索上取得了显著成功。然而，现有架构仅优化用户偏好，完全忽略了商业变现——而真实平台必须同时满足用户满意度与平台收入两个目标。传统方案（如双塔架构）将推荐与广告作为两个独立系统分别排序再混排，引入了大量工程复杂度和次优的全局排序。
核心挑战在于：有机内容和付费广告遵循根本不同的目标函数，历史日志代表的是已通过用户相关性和经济可行性双重过滤的「幸存者」分布。如何在统一的生成式框架中同时建模这两种不同目标，是本文要解决的关键问题。
本文构建于 TIGER 等语义 ID 范式之上，但指出 OneRec (2025)、Yang et al. (2024) 等后续工作仍停留在偏好建模层面，未涉及经济机制设计。同时，已有的广告联合优化方法大多基于 RL 独立处理广告插入，而非将其集成到生成过程本身。
2. 方法详解
2.1 语义 ID 基础
与 TIGER 一致，GEM-Rec 使用 Residual Quantized VAE (RQ-VAE) 将商品编码为层次化元组 (c₁, c₂, ..., c_D)，其中早期码表示粗粒度类别、后期码添加细节。RQ-VAE 在 Sentence-T5 嵌入上训练，码本大小 256，深度 3。
2.2 统一序列构造：控制 Token
核心创新在于在语义词汇表中添加显式控制 token。每个生成步骤由控制标志 f_t 和语义码序列拼接而成：
[f_t] ⊕ [c_{t,1}, c_{t,2}, ..., c_{t,D}]
其中 f_t ∈ {<ORG>, <AD>}。这一设计将「槽位分配决策」（是否展示广告）与「内容检索」（展示哪个商品）优雅地解耦。当 f_t = <ORG> 时进入「偏好模式」生成有机内容，f_t = <AD> 时进入「变现模式」生成付费广告。
2.3 分解式生成目标
生成概率被分解为：
P(x_t|H_{<t}) = P(f_t|H_{<t}) · ∏P(c_{t,k}|H_{<t}, f_t, c_{t,<k})
第一项学习「广告满意度建模」——在什么上下文中广告历史上是成功的；第二项处理「模式条件检索」——给定模式后选择哪个商品。这种分解使得模型可以从交互日志中直接学习有效的广告放置模式。
2.4 Bid-Aware Decoding 机制
推理阶段注入实时出价信号，分为两个层次：
槽位级调制：z̃_{<AD>} = z_{<AD>} + λ · log(1 + b_max)。使用最大可用出价提升广告标志的 logit，使广告负载随市场需求弹性扩展。
商品级调制：z̃_c = z_c + λ · log(1 + B(c))。使用前缀感知的出价聚合来调制 token logit，引导 beam search 朝向语义空间中的高价值库存集群。
λ 是可调的平台控制参数，λ=0 时完全退化为原始 TIGER。
2.5 训练设置
架构：T5 encoder-decoder（6层，128维，6注意力头）。训练：100,000 步，batch size 256，AdamW 优化器，单张 A100 GPU。
2.6 理论性质
分配单调性（Proposition 1）：更高出价弱增加商品曝光，无需模型重训练。结构一致性（Proposition 2）：λ=0 时安全回退到纯有机排序；有机排名不受广告放置变化影响；可推广到纯有机语料。
3. 核心技术贡献
贡献一：控制 Token 解耦机制。 通过在生成序列中引入 <ORG>/<AD> 控制标志，将广告/有机决策与内容检索解耦。这是一种无需修改底层 Transformer 架构的轻量级设计，直接复用已有的生成式推荐训练范式。其优于传统混排方案的原因在于：模型可以端到端地学习广告放置的上下文依赖性，而非依赖后处理规则。
贡献二：推理时 Bid-Aware Decoding。 在不修改模型权重的前提下，通过 logit 调制注入实时出价信号。这相比重新训练的方案，具有零延迟响应市场变化的优势——当高价值广告主突然加价时，系统可即时调整而无需等待模型更新。
贡献三：Pareto 前沿的可控性。 通过单参数 λ 在推荐质量和广告收入之间提供平滑、可预测的权衡曲线，使平台运营者可以动态调整商业策略。
贡献四：理论保证。 证明了分配单调性和结构一致性，为该框架在实际广告拍卖中的合规性提供了基础。
4. 实验结果分析
数据集与设置
在 Steam、Amazon Beauty/Sports/Toys 四个数据集上评测。通过合成市场模拟构建广告数据：20% 商品指定为付费商品，出价服从对数正态分布，基线广告密度 3-6%。
主要结果（Steam 数据集）
| 方法 | 广告率 | 收入 | NDCG@10 | 有机NDCG@10 |
|---|
| TIGER 基线 | 0.0% | — | 0.1442 | 0.1487 |
| GEM-Rec (λ=0) | 2.5% | 535 | 0.1411 | 0.1468 |
| GEM-Rec (λ=1) | 4.7% | 1,173 | 0.1381 | 0.1467 |
关键发现：即使在 λ=0（无出价调制）时，GEM-Rec 仅通过学习控制 token 就恢复了 2.5% 的基线广告密度。有机 NDCG 几乎持平（0.1487→0.1467），证明广告插入未显著损害用户体验。
市场冲击实验
当 5% 库存获得 10× 出价乘数时：
- λ=0 时高价值份额仅 21.8%，收入为 1.0×
- λ=0.5 时高价值份额达 81.5%，收入提升 9.0×，广告率仅 7.1%
- λ=1.0 时高价值份额 97.4%，收入提升 28.2×
这说明适度的 λ 调制（0.5）即可捕获绝大部分市场机会，同时保持保守的广告负载。
消融实验
更高基线广告密度（10-20%）训练使 Pareto 前沿更凸，反映更广泛的语义可行广告场景。跨数据集结果一致，100% 生成有效性（无幻觉无效标识符）。
5. 局限与未来方向
作者自述局限：
- 激励兼容性（DSIC）：当前采用第一价格拍卖（工业标准），但缺乏占优策略激励兼容的实现。精确 DSIC 需要反事实推理和 beam search 近似下的阈值刻画，计算开销较大。
- 广告质量退化：当系统优先经济价值时，不可避免地选择与用户有机意图语义距离更远的商品。这是变现与相关性之间的固有张力。
- 控制参数耦合：当前单一 λ 同时控制槽位分配和商品选择，未来可引入独立参数 (λ_slot, λ_item) 实现更细粒度的平台控制。
未被作者提及的局限： 实验仅在合成广告市场上进行，缺乏真实广告拍卖数据和在线 A/B 测试验证。T5 encoder-decoder 架构的规模（6层128维）远小于工业级生成式推荐模型。
6. 工业实践意义
直接可采纳的设计：
- 控制 Token 范式：对任何已部署 TIGER/HSTU 类系统的团队，只需在词汇表中添加 <ORG>/<AD> token 即可快速 PoC，无需重新设计架构。
- 推理时调制：λ 参数可在线动态调整，支持「大促期间提高广告密度、日常保守投放」的运营策略，且不需要重训模型。
搜索场景的迁移路径：
- 在 UGC 搜索中，可用控制 token 区分自然搜索结果与推广内容，实现搜索+广告的统一生成式排序
- Bid-Aware Decoding 可扩展为「搜索广告 eCPM 调制」，在搜索结果页中动态插入竞价广告
部署考量：
- 推理延迟：Bid-Aware Decoding 仅在 logit 层做加法，几乎零额外延迟
- 内存：需维护商品到出价的映射表和前缀聚合索引
- 风险：需要监控广告质量退化指标（如语义匹配深度），设置安全阈值防止过度商业化
Google
UCL