1. 问题与动机

语义 ID 生成式推荐把物品编码为由粗到细的离散 token 路径，再让模型自回归生成目标 SID。SFT 后继续做 GRPO 看似自然，但 GRPO 的优势估计依赖同一 prompt 的多个 rollout 具有可区分奖励；当整组候选都错过目标物品甚至第一个目标 token 时，精确命中奖励全部为零，组内归一化后的优势也接近零。作者对冻结 SFT 模型做 50-beam 约束解码，检查前 16 个候选，发现 Amazon Office 的 1.5B/3B 模型分别有 63.7%/63.9% 测试 prompt 连目标 SID 第一层都未命中，Industrial 也有 53.3%/52.5%。这意味着越需要 RL 修复的困难样本，反而越缺乏学习信号。

已有统一注入标准答案或通用前缀引导没有利用 SID 的树结构，也无法回答“该引导哪一层、替换多少 rollout”。DASO 因此把问题定义为在线 rollout 预算分配：按当前策略实际暴露的路径瓶颈动态投放少量目标前缀，同时保留原始 rollout 形成相对对照，并用监督锚点保护 SFT 已经解决的样本。

2. 方法详解

每个物品 v 的 SID 为 s(v)=(s1,…,sM)，每层 token 来自对应码本；有效 SID 用 prefix trie 约束。对生成结果与目标，DASO 定义最长公共前缀深度 m(ŝ,s*)。每个训练 prompt 先由当前策略采样 G=16 个原始 completion，并计算每个样本的深度 di。累计画像 pj=(1/G)Σ1[di≥j] 表示 rollout 至少沿目标路径走到第 j 层的比例，相邻下降 p(j-1)-pj 就是该层的分支瓶颈。

若组内已有完整目标，DASO 不干预。否则最大引导预算 Bmax=9，实际预算按平均前缀深度单调分配：B(x)=min(Bmax, ceil[Bmax(1-Σdi/(GM))])。越早偏离目标，替换越多；预算再按各层画像下降比例用最大余数法精确分到瓶颈深度。被引导样本固定目标前缀 s*1:j，剩余后缀仍由当前策略采样，并只替换前缀最差的原始 rollout；强原始样本被保留，以免训练退化成纯 teacher forcing。被强制的前缀仅视为条件，GRPO likelihood ratio 只计算策略真正生成的后缀 token。

奖励由三部分组成：精确物品命中 Racc、MiniOneRec 的排名奖励 0.3Rrank、以及归一化前缀进度 Rsid=m/M。排名项只有组内出现精确目标才激活，因此 Rsid 专门为无精确命中的部分正确路径提供连续信用。训练目标为 LGRPO + 0.1 LSFT；SFT 锚点对完整目标 SID 做 token 级负对数似然，用来抵消引导分布带来的漂移。

公开实验使用 Amazon Reviews 2018 的 Office Products 与 Industrial and Scientific，按 5-core 时间切分；SID 由 MiniOneRec 的 Qwen 文本向量和 RQ-VAE 生成，三层码本均为 256。骨干为 Qwen2.5-1.5B/3B-Instruct，加入 SID token 后全参数 SFT，cutoff 512、batch 128、bfloat16、余弦学习率和验证集早停。RL 阶段学习率 1e-5、KL 系数 1e-3、600 次 optimizer update，统一用 50-beam 约束解码评估 HR@5、NDCG@5、HR@10。内部任务包含 135.96 万主推荐样本、31.96 万用户、113.98 万 SFT 样本、10.03 万 GRPO prompt 与约 3.6 万评估 prompt，采用四层、每层 2048 码的 SID。主要训练与评估使用 8 张 NVIDIA A100 80GB。论文没有披露优化器名称、每轮耗时与线上延迟。

3. 核心技术贡献

第一，论文明确诊断出生成式推荐 RL 的“目标路径覆盖缺口”：问题不只是稀疏的最终命中奖励，而是树形动作空间中大量 rollout 在根部就走错，导致标准组相对优势失效。第二，DASO 用当前 rollout 的前缀深度画像决定引导层级和数量，比固定难度桶或统一 GT 注入更贴合策略随训练变化的实际状态。第三，方法把精确命中、排名与前缀进度组合为层级信用，既承认部分路径正确，又保持最终物品为主目标。第四，引导 rollout 与 SFT anchor 分别承担可塑性和稳定性：前者为困难组制造有效对照，后者降低已解样本回退。该设计不改 GRPO 主更新形式，也不增加价值模型，可作为语义 ID 推荐训练栈的附加层。

4. 实验结果分析

公开结果显示 DASO 在两类数据、两种骨干的 12 个指标中有 9 个最佳，并在 11 个指标上超过 MiniOneRec 式 GRPO。代表性结果如下：

收益集中在方法瞄准的困难样本。Office 1.5B 的 Hard HR@5 从 0.0331 升至 0.0624，Medium 从 0.1224 升至 0.1693；3B 的 Hard 从 0.0252 升至 0.0521，Medium 从 0.1472 升至 0.2102。内部四层 SID 中，首层 Top-20 Recall 从 GRPO 的 47.21% 升到 54.23%，最终层从 4.23% 升到 4.67%；Top-1 四层均提升。不过 Top-20 第三层从 5.23% 略降到 5.16%，公开 Industrial 3B 的 HR@10 也从 0.1673 略降到 0.1667，说明改善并非所有深度和指标一致。

消融支持各组件作用。固定难度版本在 Office 1.5B 的 HR@5/NDCG@5 为 0.154/0.127，低于完整模型的 0.1639/0.1344；去掉 SFT anchor 后四组 HR@5 都下降，例如 Office 3B 从 0.1683 降到 0.159。Bmax 在 5、9、13 中以 9 最优，说明引导过少不足以制造信号，过多又可能稀释 on-policy 对照。需要谨慎的是 Easy 样本上 SFT 往往更强：Office 1.5B Easy HR@5 为 0.7199，而 DASO 为 0.5359，揭示 RL 后训练仍存在已解样本遗忘。

5. 局限与未来方向

论文没有独立的 limitations 章节；从结论和实验讨论可确认的限制包括：所有主要结果是单次运行，没有随机种子方差；公开数据只有两个较小的 Amazon 类目，内部数据因隐私仅给聚合统计；没有线上 A/B、训练成本增量或服务指标。作者也明确提示完整 DASO 同时包含在线画像、前缀奖励、引导预算和 SFT 锚点，因此相对统一 GT、Sibling-GRPO 的提升不能归因于单一模块。Easy bucket 的回退说明稳定性尚未彻底解决，而内部 lv2 Top-20 的轻微下降表明层级奖励可能在不同深度间重新分配概率。

另一个未充分讨论的问题是训练时使用目标 SID 来构造前缀引导，这适合离线监督后训练，但不能直接用于无标签在线学习；当 SID 树质量差、前缀不具语义一致性或物品频繁重编码时，前缀信用可能误导模型。未来应评估更多类目、超大目录、动态 SID、多个随机种子和真实线上指标，并探索对 Easy 样本自适应降低 RL 权重或用回放约束进一步防遗忘。

6. 工业实践意义

对于已采用 TIGER、OneRec 或自研语义 ID 生成召回的团队，第一步不必立刻实现 DASO，而应先在冻结 SFT checkpoint 上做同样的路径覆盖审计：统计 beam 前 K 个候选的首层命中、最长前缀、完整 SID 命中，并按 Easy/Medium/Hard 分桶看 HR、NDCG 和业务价值。如果困难桶占比高且标准 GRPO 组内奖励方差接近零，才说明 rollout 分配是主要瓶颈。

落地 DASO 时应把每个 prompt 的 pj、预算 B(x)、引导深度、被替换样本和最终奖励方差写入训练日志；先以 G=16、Bmax=9、λsft=0.1 为复现实验起点，再按目录分支数与 SID 深度网格搜索。UGC 搜索/推荐中的 SID 可以由主题、作者或内容向量量化形成，但必须验证同前缀内容确实共享业务语义，否则 Rsid 只是在奖励编码器的量化偶然性。评估不能只看总体 Recall，还要单列头部/长尾、新内容、Easy 与 Hard，并监控已解样本回退。

工程代价主要发生在训练：每个 prompt 需先生成完整原始组、计算前缀画像，再对部分样本续写；推理侧模型和 trie 不变，因此不会直接增加线上延迟。8×A100 80GB 的论文配置表明全参数 3B SFT+RL 仍有不小门槛，小团队可先在 1.5B 骨干或 LoRA 变体上验证路径信号，但需重新验证 SFT anchor 的强度。上线前还应把离线 SID 命中映射到真实的 CTR、停留和满意度，并设置回滚护栏；论文证明的是受控离线推荐质量提升，并未证明商业收益。