From Understanding to Action: Feedback-Grounded Policy Discovery for Generative Recommendation

1. 问题与动机

这篇论文针对的是生成式推荐中一个非常具体的失配：Semantic-ID 生成器擅长从行为序列中学习“哪些物品经常相邻出现”，但并不天然知道用户此刻到底在完成什么任务，也不知道在多个语义上都合理的候选之间应该如何做决策。作者把前者称为 intent knowledge，把后者称为 policy knowledge，并将两者之间的断裂定义为 Understanding–Action Gap。论文给出的例子很直观：用户先浏览网球拍、网球和网球鞋，系统可以理解“用户可能在组装一套网球装备”，但在网球帽和球拍包都符合这一意图时，究竟应该优先哪一个、拒绝哪一类配件，仍然需要行动策略。传统 SID 训练只用下一个物品的 item-level 标签，无法把这种“意图区域内的细粒度决策边界”显式监督出来。

作者还指出，直接让 LLM 生成自然语言理由并不等于推荐会变好。语言上通顺的解释可能没有推荐结果反馈，甚至会把表面相关性误当成行动价值。对于稀疏交互、兴趣快速变化或无法由局部共现推断的需求，这个问题更严重。论文的目标不是把一个超大 LLM 放进线上链路，而是让 LLM 离线发现经过结果验证的策略，再将其压缩到轻量的 Semantic-ID 生成器中。这样既利用了 LLM 对异构历史的理解能力，也保留生成式推荐在大规模候选空间中的低延迟特性。

2. 方法详解

基础任务是给定用户按时间排列的交互历史 H_u，预测下一个物品 y_u。每个物品先被量化成 L 层 Semantic ID：SID(v)=(c_v^(1),...,c_v^(L))，生成器按层自回归地预测每一个离散 code。原始目标是对目标 SID 做 next-token 交叉熵，但它把“用户想要什么”和“系统应当怎么选”都压进了同一个 item loss。

第一步是任务导向的意图诱导。作者用一个 LLM intent agent 读取历史行为和历史物品的文本元数据，生成针对当前推荐上下文的短期需求描述 I_u，而不是泛化的用户画像。冻结的语义编码器将 I_u 映射成教师表示 e_u^I。这里的意图负责定位语义区域，回答用户正在寻找哪类东西。

第二步是反馈驱动的策略发现。对每个用户，作者从历史中构造 prefix-successor 转移集合，每个转移都提供“在某个历史前缀之后发生了什么”的观察证据。Policy Agent 在历史、物品元数据和 I_u 条件下生成 K=5 个候选策略。每条策略都包含两部分：在当前意图下应优先的推荐方向，以及应压制的拒绝边界。策略不是另一个用户画像，而是同一意图下不同的行动原则。

每个候选策略都交给共享的 controlled executor 执行两次：一次只输入历史和意图得到 intent-only 预测，一次额外输入该策略得到 policy-conditioned 预测。作者不用 Recall@K 直接做策略奖励，因为真实目标不在 top-K 时，所有候选都会得到零反馈，无法指导迭代。相反，他们用冻结语义编码器计算预测物品描述与训练序列最后一个真实物品描述的余弦相似度。intent-only 分数为 R_u,0，候选策略的优势定义为 A_u,k^(r)=cos(E(M_hat_u,k^(r)), E(M_u+))-R_u,0。这个差值只奖励策略相对于意图基线带来的增量，而不是把意图本身的收益重复计入。

第三步是策略演化。Feedback Agent 同时查看同一用户的 5 条策略、执行结果和 advantage，输出保留模式、共同失败模式以及尚未探索的方向。Policy Agent 根据这份 group-wise critique 重新生成下一轮 5 条策略；只有当新一轮的最佳 advantage 超过上一轮时才继续，最多使用 R=2 轮。最终保留整个演化轨迹中优势最高的策略。策略监督只用于至少有一个候选策略获得正 advantage 的训练用户；没有正策略的用户仍然参与推荐和意图蒸馏，但不会被强行赋予策略标签。验证集和测试集目标从未用于策略生成或迭代。

第四步是将 LLM 教师压缩到轻量学生。作者在 SID 解码序列前插入两个 latent token：Intent Token q^I 和 Policy Token q^P。解码器先根据行为历史形成 h_u^I，再在历史和 h_u^I 条件下形成 h_u^P，最后以两个隐状态为条件生成目标 SID，形成“理解—规划—生成”的潜在链路。由于语言教师空间和行为学生空间坐标不一致，作者不做简单的逐点 MSE 对齐，而是做 relational distillation。对意图和策略两种知识，先用温度缩放的 softmax 构造 batch 内用户关系分布 pi，再保留教师的 top-K1 邻居，计算用户之间的高阶邻域相似度 rho，最后优化一阶和高阶关系的 KL 散度：L_X^rel = KL(pi_T || pi_S) + gamma KL(rho_T || rho_S)。实验中 K1=K2=5，gamma=0.1。推荐损失仍然是带两个 latent token 的 SID 自回归交叉熵，完整目标为 L_rec + lambda_I L_I^rel + lambda_P L_P^rel。

训练使用 PyTorch 和 8 张 80GB NVIDIA A800，batch size 2048，学习率从 1e-3 和 2e-3 中选择，训练 epoch 从 200 和 300 中选择，lambda_I 和 lambda_P 从 0.5、1.0 中独立选择；每组实验重复 5 次取平均。LLM agent 使用 Qwen3.5-122B-A10B，SID 物品文本由 title 与 category 拼接，再用 Qwen3-Embedding-8B 编码；在线只保留轻量 SID 生成器，LLM、文本意图/策略、语义编码器和投影头都不进入 serving path。

3. 核心技术贡献

第一，作者把“理解需求”和“执行推荐”拆成两个可验证变量。意图只负责缩小语义搜索区域，策略负责在区域内规定推荐方向与拒绝边界；这比把一个文本画像直接接到 next-item prediction 上更接近真实推荐决策。

第二，策略不是由 LLM 一次生成后直接使用，而是必须相对 intent-only baseline 获得正的增量效用，并接受多候选、同环境、同奖励函数的比较。这样把“听起来合理”变成“执行后确实有帮助”，也避免把目标物品描述直接泄漏成所谓策略。

第三，作者用一阶加高阶的关系蒸馏取代跨空间的逐点表示匹配。直接 MSE 假设教师和学生必须共享同一几何坐标，而关系蒸馏只要求它们保留相似的用户邻域结构，因此更适合自然语言语义空间与行为生成空间之间的迁移。

第四，整个设计把 LLM 的费用放在离线教师阶段。日常批处理生成意图和策略监督，学生模型通过流式训练持续吸收新行为，线上仅增加两个 latent token 的解码步骤。这是“强教师离线、轻学生在线”的完整闭环，而不是把高成本推理转嫁给每次请求。

4. 实验结果分析

论文在 Amazon Review 的 Beauty、Toys and Games、Sports and Outdoors 三个品类上实验，按时间切分：最后一次交互测试、倒数第二次验证，其余用于训练；比较 Caser、GRU4Rec、SASRec、BERT4Rec、HGN、P5、TIGER、LETTER，以及直接调用 Qwen3.5-122B-A10B 的 LLM 基线。指标是 Recall@5/10 与 NDCG@5/10。

在 Beauty 上，TIGER 加入完整方法后 R@10 从 0.0617 提升到 0.0739，N@10 从 0.0333 提升到 0.0417；LETTER 也获得一致提升，说明方法并不依赖某一个 SID backbone。三类数据集的附录结果趋势相同，但绝对收益会随品类交互长度和物品语义而变化。

意图与策略的消融验证了两者的分工。Beauty/TIGER 的 intent-only 版本为 R@5=0.0448、R@10=0.0682、N@5=0.0307、N@10=0.0383；只增加 Policy Token 但不做 policy distillation 后为 0.0478、0.0722、0.0325、0.0401；完整版本达到 0.0491、0.0739、0.0341、0.0417。也就是说，收益不是“多放一个 token”带来的，而是来自被结果验证的策略知识。SID 前缀分析进一步显示，Intent 在第一级前缀上带来 +2.23 个百分点的 Recall@10，主要负责定位大语义区域；完整模型相对 Intent 在第二、三级分别再带来 +0.18 和 +0.37 个百分点，策略主要解决细粒度区分。

策略构造实验中，完整模型 Beauty 的 N@10 为 0.0417；去掉策略演化降至 0.0407，随机选择降至 0.0398，直接把目标物品语义当作策略则降至 0.0385。该结果说明迭代反馈和行动原则都重要，目标语义本身不能替代决策策略。策略演化曲线显示大多数收益集中在前两轮，论文因此把实际配置限制为最多两轮。关系蒸馏也有清晰贡献：完整模型 N@10=0.0417，直接蒸馏=0.0391，去掉高阶蒸馏=0.0406，去掉意图蒸馏=0.0389，去掉策略蒸馏=0.0401，全部去掉=0.0388；意图是主要语义基础，策略和高阶邻域结构提供进一步细化。

一个有代表性的 Beauty 案例是用户先看指甲锉、点钻工具和凝胶指甲油，真实下一件物品是 LED 烘甲灯。只有意图时模型推荐了同属美甲区域但功能重复的刷具，语义奖励为 0.5941；加入“完成当前功能链”的策略后预测到烘甲灯，奖励升到 0.8754。另一个案例中，策略 agent 从 5 个候选里通过 group-wise feedback 放弃过度集中在面膜、天然成分和清洁形式的假设，演化到非面膜的精华/爽肤水方向，奖励从 0.5854 升到 0.6765。这些案例说明策略学到的是顺序功能和拒绝边界，而不只是更细的主题标签。

工业实验在 Kuaishou 本地生活广告系统进行 7 天 A/B，覆盖约 1325 万用户和 161 万物品，控制组与实验组各占总流量 5%，累计约 7000 万交互样本。相对生产基线，Revenue 提升 4.506%，ADVV 提升 4.621%，两个结果在 95% 置信水平上显著，且 ADVV 增幅高于 Revenue。部署采用多时间尺度：LLM 教师每天更新一次意图和策略，学生用流式训练吸收当天新行为，单次请求只调用学生生成 SID。延迟从基础模型的 0.023 秒/样本增至只加 Intent Token 的 0.029 秒、同时加入两个 token 的 0.032 秒；直接 LLM 推理为 4.437 秒，约高出两个数量级。

5. 局限与未来方向

论文没有单列“Limitations”章节，结论主要强调方法在公开数据和工业 A/B 中的有效性，因此能直接确认的范围边界包括：实验离线部分只使用 Amazon 的三个品类，在线验证集中在 Kuaishou 本地生活广告；策略奖励依赖冻结语义编码器和文本化的物品描述；策略发现是在训练交互上进行，无法证明对完全新任务、极冷启动用户或文本元数据缺失物品同样有效。作者还把 policy supervision 限制给存在正 advantage 的用户，剩余用户没有显式策略教师，这会造成监督覆盖差异。除此之外，论文没有报告不同 LLM 教师、不同语义编码器或更大策略候选数的成本—收益曲线，也没有给出策略错误对广告生态长期指标的影响；这些属于需要后续线上实验补足的工程问题。

6. 工业实践意义

对社区搜索/推荐团队，最值得采用的是分层职责而非直接复制完整 agent。可以先从 query/session 侧抽取“当前任务意图”，例如用户是在找攻略、比较商品、补齐流程，还是寻找同主题但不同观点的 UGC；随后为每类意图维护可验证的策略方向和拒绝边界，例如减少重复内容、优先下一步动作、控制商业内容密度或保留多样观点。策略候选不应只靠 LLM 自评，而应与 intent-only 基线在相同候选池、相同用户上下文中比较增量 nDCG、CTR、收藏和后续查询率。

线上架构可以采用论文的多时间尺度设计：每天或每几个小时离线用强模型生成和筛选策略，在线排序模型只消费压缩后的 latent intent/policy token；实时行为通过流式训练或轻量 adapter 更新。对高 QPS 的 UGC 搜索，这比在每个 query 上生成长 CoT 更现实。论文的 0.032 秒/样本对比 4.437 秒直接 LLM 说明，离线蒸馏的主要价值不是省一点 token，而是把不可接受的服务路径完全移出请求链路。

落地时需要同时保留传统检索的可控性：Semantic ID 生成适合统一建模和候选扩展，但仍应设置合法 ID、库存/内容安全、去重、时效和业务规则约束，并对 latent token 做漂移监控。建议先在单一意图、反馈标签充分的场景做灰度，设置“策略命中用户比例、正 advantage 覆盖率、策略带来的增量指标、P95/P99 延迟、LLM 离线成本”五类监控。若策略只提升离线语义相似度而不提升真实 CTR/nDCG，或者策略监督覆盖率很低，应回到奖励定义和候选执行器，而不是继续扩大模型。