今日场景今天生成式赛道有 8 篇，5 篇有深度解读，主线是让生成式召回在线上更便宜。Pinterest 的 PinGER 让每个历史物品服务时只占一个 token。淘宝的 SLIDE 把束搜索挪到离线，线上只贪心解码一遍。华东师大的 MuSID-KD 在蒸馏小模型时按 SID 每一层对齐教师。腾讯的 LoopGR 用循环复用解码器代替加层。Octen-WebGR 把生成式检索扩到 2 亿个网页，并量清了它和向量检索各自擅长什么。做生成式召回落地的团队可以先看 PinGER 和 SLIDE。 — 评分 27 篇，入选 8 篇，分数 3.45 – 4.40
Pinterest生成式召回把每个物品编成多层 SID 逐层生成，代价是输入侧每个历史物品要占好几个 token。Pinterest 的 PinGER 在训练时给每个物品的 SID 后面再放一个稠密向量 token，并规定任何 token 读取别的物品时只能看它的稠密 token，不能看它的 SID。于是服务时可以丢掉历史里的全部 SID，每个物品只占 1 个 token，结果不变。它把输入压缩做成了训练时的结构约束。离线上它用 170 个 token 达到 TIGER 用 1,024 个 token 的召回率，在 Related Pins 上线后保存数提升 0.62%。
生成式召回线上通常用束搜索出候选，各条束互不可见；想让模型一口气写出整张列表，最直接的贪心解码效果却差得多。淘宝的 SLIDE（一种把离线搜索结果蒸馏成列表的训练方法）把搜索挪到离线：教师对每个训练请求跑束搜索，把搜出的商品按得分拼成一条长序列，学生照着学，线上只贪心解码一遍。它把线上的搜索成本换成了离线的标注成本。教师用 7B 时，0.5B 学生的 HR@10 达到 0.4578，反超同尺寸模型束搜索的 0.4498。
把 SID 生成式推荐模型蒸馏成小模型时，通常只让学生对齐教师在最终推荐物品上的概率分布。华东师大的 MuSID-KD（一种按 SID 层级做多粒度蒸馏的方法）发现这样不够：只对齐物品分布的学生，在 SID 中间层给候选组排出的先后，平均有 53.8% 的比较和教师不一致。教师的知识不只在最后一层的物品概率里，也在每一层前缀的排序里。在三个 Amazon 数据集上，它的 NDCG@10 比基础蒸馏平均高 8.31%，线上推理结构完全不变。
生成式推荐想变强通常就是加层，也就是加参数和显存。腾讯的 LoopGR（一种循环复用解码器的生成式推荐结构）让同一个解码器反复跑好几遍。每两遍之间，把解码器开头 BOS 位置的隐状态（概括模型此刻对目标的判断）加到历史的每个位置上，再用一个很小的 GRU 沿物品顺序重写历史表示。解码器反复修正预测，历史跟着预测一起变。同等计算量下，它用一半左右的参数就胜过编码器—解码器结构；工业数据上 Recall@10 为 0.6458，高于线上模型 BARGE 的 0.6277。
补全商品套装或歌单是无序地生成一组物品，扩散语言模型的双向注意力更合适，每步还能揭开多个 token。每个物品编成多层 SID，第一位决定大类；但按置信度揭开时，模型总把这一位拖到最后，生成的物品彼此很像；一步揭开太多又会拼出不存在的 SID。DPE-Rec（一种面向套装生成的扩散推荐框架）在强化学习采样时先生成大类那一位并调高这一位的采样温度，去噪训练也不再用随机遮盖，而是只用每步揭开一个 token 的慢速解码真正经过的那些中间状态。先决定往哪个方向分叉，再补细节。按 F1 等集合匹配指标，它比现有生成式推荐方法平均高 63%。
生成式检索一直停在千万文档以内。Octen 团队的 Octen-WebGR（一个用生成式检索做网页导航搜索的模型）把它推到 2.01 亿个网页：每个网页编成两个 token，4B 模型读完查询直接生成，再查表得到 URL。在训练后一个月的真实导航流量上，它把目标网页排第一的比例是 59.6%，同样点击数据训练、再按点击重排的向量检索是 46.5%。把点击历史写进参数，模型就学会了网页本身的受欢迎程度，所以能从同一网站几个相似的页面里挑出用户要的那一页。对点击很少的冷门网页，向量检索仍然更好，两者是互补的。
思维链式的大模型推荐器会先写一段描述用户偏好的笔记再排序，但这段笔记从不被检验，排序时也不参考行为相似的用户。ReflectRec（一种对偏好笔记做往返校验的大模型推荐方法）让模型只根据笔记去猜用户看过哪些电影，以猜中真实历史的比例作为笔记的可信度分数；分数低就重写，并从几次重写里挑分数最高的一版，同时把相似用户之后看过的电影作为协同提示塞进提示词。偏好描述能不能还原出历史，就是它可不可信的检验。在 MovieLens-1M 上，Hit@10 比基线 CoT4Rec 高 4.46 个百分点。
向量量化是图像、音频生成乃至推荐 SID 的基础组件，但常用的 VQ-VAE 码本经常塌缩，大部分码字从来用不上。FlowVQ（一种基于流匹配的向量量化方法）先在一个固定的简单先验分布上，把空间切成概率相等的若干小块，每块一个初始码字；再用一个和 VQ-VAE 一起训练的轻量流模型，把先验空间一一映射到数据的隐空间。映射保持概率质量，所以每一块搬过去后仍装着同样比例的数据，码字取搬运后各块的中心。码字用得均匀成了映射本身的性质。在材料结构重建上，匹配率达到 90.81%，码本全部用上。