原文：VARG，重点依据第 3 节方法、第 4 节实验及表 1–7。以下将作者报告与社区 UGC 搜索的迁移建议分开。
1. 问题与动机
VARG 服务于天猫 App 搜索：生成式通道产生的商品不再经过传统粗排，而是占用预留候选配额直接进入已有精排。这个接入位置要求生成器同时考虑查询相关性、用户偏好和商业价值。只生成语义相关的商品簇还不够，同一个簇内的低价值或低相关商品会浪费有限精排名额。论文建立在 TIGER 的语义 ID、CQ-SID 的查询对齐和 CRID 的簇内价值排序等工作之上，将编码、训练目标和每日更新放进同一系统考虑。
核心困难之一是地址稳定性。给商品附加簇内排序码可以获得细粒度地址，但交易统计每天变化，若每天重新排序，昨天学到的地址就可能指向别的商品。作者固定模型、重新排列商品第三码后，完整 SID 的 HR@100 下降 14.45 个百分点；第一层命中率却只从 92.08% 变为 92.00%。这说明错误主要来自地址漂移，而不是粗粒度语义突然失效。另一个困难是点击和购买奖励稀疏，无法有效比较大量没有行为反馈的候选，因此需要精排和相关性信号补充监督。
2. 方法详解
2.1 三码地址与查询对齐
每件商品的 ID 由两个语义码 s1、s2 和一个簇内价值码 r 构成。商品编码器把包含类目、品牌等信息的向量映射到潜在空间，RQ-VAE 依次量化两层残差，得到语义前缀。训练目标包括重建、承诺损失和双向 query–item 对比学习；对比学习在连续向量上把真实查询与商品拉近，避免仅按商品文本相似度分簇。两个语义码本和第三码词表各有 8192 个条目；对比损失系数 0.001、温度 0.1，每个本地 minibatch 最多抽取 128 个有效查询商品对。
第三码表达同一前缀内的价值次序。作者先把购买和较低权重的加购组合为价值事件，再用经验贝叶斯方法平滑转化率：把商品价值事件数与全局先验对应的伪计数相加，除以点击数与先验强度之和。排序优先看平滑转化率，再依次用行为漏斗分数、GMV、商品 ID 处理平局。此处的 r 是商品地址的一部分，不是每次请求重新计算的排序分数。
2.2 两个更新循环
商品循环在同一主版本内冻结量化器、词表和存量地址，新商品依据价值位置复用已有槽位。论文举例：A、B、C 的第三码为 0、1、2，新增 D 排在 A 与 B 之间，则 D 复用 1，B 仍保留 1。这样会出现一个 SID 对应多个商品，线上再展开候选交给精排；因此“零碰撞”只描述初始化构造，不能扩大为日更始终无碰撞。
模型循环用最新行为和部分历史回放继续训练，标签使用行为发生时对应的 SID 映射。验证通过后，模型、Trie 与商品映射作为兼容版本一起原子发布。月度重建主版本时，需要同步重编码训练标签、历史行为和回放数据，再重新训练召回器。这些版本约束直接关系到召回地址正确性。
2.3 三阶段监督训练
基座为 Qwen2.5-0.5B-Instruct，扩充 SID 词表后全参数训练。第一阶段学习商品内容到 SID，第二阶段学习 query 到 SID，第三阶段学习用户、query 与历史到 SID。三阶段样本量分别为 5143 万、4800 万、1.0569 亿；覆盖商品数为 5143 万。SFT 使用 128 张 GPU，第一阶段学习率为 1e-4，后两阶段为 4e-5，LO-SFT 为 5e-6。正文未明确提供 GPU 型号、完整 SFT 批大小、优化器和总步数，不能据此推算可复现的完整训练成本。
第三阶段增加最近 3 次查询、相关类目点击历史和长期兴趣摘要。查询商品样本按平滑转化价值加权，但前两阶段保持等权，避免基本地址记忆被业务价值过早扰动。SID 各层交叉熵也不同权重：第二层高于第一层，第一层高于第三层，因为作者观察到主要命中损失发生在第二层。LO-SFT 另保留精确标签损失，并向第三码附近的合法位置分配距离衰减的软标签，邻域半径为 3、温度为 1、辅助系数为 0.02。
2.4 Prefix-GRPO 与线上推理
强化学习首先检查输出是否正好符合三码格式、是否指向已占用槽位；格式错误给 -2，空槽位给 -1，不再叠加其他正奖励。合法且有行为反馈的候选使用购买、点击、曝光中优先级最高的奖励，分别为 3、1、0.1，并叠加精排优势。没有行为匹配的合法候选则由精排优势和相关性共同评分。精排优势只奖励高于同请求候选均值的有限正向标准化分数，经 tanh 压缩，避免异常值主导更新。
前缀权重根据合法子分支数量调整不同位置的策略损失，最低权重为 0.1。训练使用组内相对奖励、裁剪策略目标和相对固定 SFT 参考模型的 KL 正则，系数为 0.8。RL 在 64 张 GPU 上运行，学习率 1e-6，每个 rollout batch 有 1024 个 prompt，每个 prompt 采样 8 个响应，训练池约 103 万条请求级记录。
推理用 Trie 限制每一步的合法后继 token，线上三层 beam 宽度为 20、50、500。完整 SID 展开为商品，与已有多路召回结果合并去重，再进入精排。这个设计保留了传统链路，论文的线上收益是新增通道接入后的整体系统收益。
3. 核心技术贡献
第一，编码同时承担语义路由和细粒度寻址。普通三层 RQ-VAE 在作者数据上只有 16.73% 的唯一 SID 比例，碰撞率为 91.25%；VARG-ID 初始构造达到 100% 唯一、0% 碰撞。它不是无限增加码长，而是在两层语义前缀后安排确定的簇内位置。价值排序提供先验，日更冻结机制则解决这个先验与稳定地址之间的冲突。
第二，训练目标对应实际候选配额。价值加权和层级损失对普通 HR 的改善很小，但能明显提高高价值商品在列表头部的覆盖。例如 Q2I-GMV Recall@1 从 36.12% 升到 42.35%，提升 6.23 个百分点，而普通 HR@1 变化为 -0.01 个百分点。这说明作者优化的是有限候选中的价值分布，不能把所有收益解读成一般相关性提升。
第三，Prefix-GRPO 给没有行为反馈的合法商品提供额外监督，同时隔离无效地址的奖励。精排优势帮助判断尚未曝光的候选，相关性约束则防止单纯追逐价值。表 5 中加入多源奖励后，NDCG@10 从仅行为 GRPO 的 15.18% 升至 15.29%，再加入前缀权重升至 15.30%。可见额外信号的贡献更明显，前缀加权是较小的增益；应把各模块贡献分别看待。
4. 实验结果分析
下表来自论文表 4；绝对数值均以百分数表示，差值为百分点，不是相对百分比。
| 指标 | SFT Base | Prefix-GRPO | 差值 |
|---|---|---|---|
| HR@1 | 6.39 | 6.44 | +0.05 |
| HR@10 | 26.33 | 26.46 | +0.13 |
| NDCG@10 | 15.15 | 15.30 | +0.15 |
| GMV Recall@1 | 30.88 | 36.35 | +5.47 |
| Q2I-GMV Recall@10 | 95.18 | 97.21 | +2.03 |
| 购买样本 HR@1 | 13.51 | 13.87 | +0.36 |
最显著的模式是价值加权召回比普通命中率改善更大。购买样本的 HR@1 增益为 0.36 个百分点，点击样本仅 0.03 个百分点，符合价值倾斜的训练目标。不同 SFT 消融也有不同作用：最近查询加长期摘要使 HR@50 增加 0.31 个百分点；LO-SFT 则从 46.19% 升到 46.33%，NDCG@100 从 20.91% 升到 21.00%。这些模块不能简单相加，也不能把分开评测的结果当作同一叠加模型的收益。
稳定性实验比单纯准确率表更值得工业团队关注。即使采用较稳定的贝叶斯转化率排序，全量重排仍导致 69.54% 的第三码变化；冻结更新能保持已有地址不变。Trie 则把输出合法率从 93.73% 提升到 100%，代价是约 3.16% 推理时间和 0.13 GiB 内存。合法性控制的收益不仅是离线指标，还包括减少无效结果占用业务候选配额。
线上实验持续 14 天、覆盖 20% 搜索流量，相对对照 GMV +1.45%、人均 IPV +0.22%、UCTR 和 UCTCVR 各 +0.13%、PCTR +0.31%，人均曝光 PV -0.09%。这些数字来自完整线上系统，不能单独归因于 RL。另两轮 6000 多条导购查询评测中，VARG 较小配额的 Good rate 为 76.77% 和 76.58%，原链路最大配额为 76.71% 和 76.81%，应描述为相近，不能说每轮都超过原系统。
论文还报告一个清楚的负向权衡：轻量解码器只计算一次主干，然后用条件分类头预测三码，平均时延从 10.41 ms 降到 0.94 ms，单卡 QPS 约为 11.1 倍；但 HR@1、HR@20、HR@100 分别下降 1.13、8.38、10.77 个百分点。作者明确没有把它用于主线上链路，因此不能把该速度提升与线上 GMV 收益包装成同一个已部署方案。
5. 局限与未来方向
作者在结论中明确提出两个后续方向：更紧候选预算下的质量和效率权衡，以及保留轻量解码收益的同时修复其召回质量。轻量解码的头部指标退化，是论文实际测量到的限制。在线增量地址复用也意味着初始化唯一地址在日更后可能共享槽位，系统仍需候选展开和下游精排承担消歧工作。
以下是本次阅读的额外评估，不是作者自述：实验主要来自单一天猫业务，无法直接证明社区 UGC 或非交易搜索有效；公开训练配置不足以完整复现大规模成本。线上表未给出显著性区间，暂时不能独立判断每个较小的点击增益是否稳定。价值奖励和生产精排监督可能继承既有曝光偏好，文中结果也没有回答对低热度内容、不同用户群体的长期分配影响。迁移时应补做这些分组评估，而不是假定 GMV 增益可普遍迁移。
6. 工业实践意义
对于社区短文本搜索，最值得优先采用的是地址版本管理和逐级诊断。帖子持续新增、编辑、删除，语义 ID、模型和映射必须原子发布，删除内容还需立即从合法 Trie 与结果映射中剔除。先统计第一层、前两层、完整 ID 的命中差异，才能决定投入语义编码、细粒度路由还是解码器，避免把第二层问题误当成模型参数不足。
业务奖励需要重新定义。社区内容通常没有购买转化率，可考虑满意点击、有效阅读、收藏或高质量反馈，但这些是迁移建议，尚未获得本论文验证。应以 query–帖子相关性为基本约束，对奖励加入热度校正，单独检查长尾和新帖的召回覆盖；nDCG 与 CTR 仍是本项目的主指标，不能直接用交易价值加权召回替代。
可先给生成式通道少量独立配额，保持已有精排和其他召回源，离线比较同配额下的相关性、重复率、合法率与新增覆盖，然后再做用户级 A/B。工程预算应把每日训练、历史回放、Trie 更新、共享槽位展开及模型回滚一起纳入。论文证明的是 0.5B 模型在大型私有数据和多卡训练支撑下的系统方案，模型参数小并不意味着整套系统成本低。轻量解码应单独验证，在恢复召回质量前不作为上线默认项。