EAGER：从点击商品生成个性化搜索建议

原文：https://arxiv.org/html/2609.07143 。以下依据正文第3—4节及附录B—G；业务迁移建议单独说明，不视为作者实验证实的结论。

1. 问题与动机

EAGER研究的是I2Q：用户在推荐流点击一件商品、再返回信息流时，系统展示一组可点击搜索词，引导其继续探索。输入不是用户已经写好的查询，而是刚点击的商品、近期行为和用户上下文；输出是若干自然语言查询。这使它与搜索框补全、相关搜索词替换以及直接生成商品SID的任务不同。传统日志挖掘只能从现有查询池寻找共现关系，面对新商品和长尾商品缺乏覆盖；通用大模型虽然语言流畅，却容易给出宽泛词语，无法判断用户此刻更关注材质、容量还是使用场景。

作者将矛盾拆成两部分：一次点击只暴露一种显式选择，却需要覆盖多种潜在需求；而查询集合又必须兼顾用户点击、下游转化、多样性和展示规则。正文提到查询池丰富度与转化的正相关，但没有给出该相关性的系数，不能据此认定因果。方法因此先扩展候选意图，再进行部署目标对齐。对社区UGC的类比是“读完帖子后推荐继续搜索什么”，而不是直接重构现有文档检索系统。

2. 方法详解

第一阶段构造有顺序的多源监督。标签首先放用户真实点击的查询，其次放短时间内主动发起的后续查询，最后补充LLM根据商品标题、类目、属性及场景生成的查询。补充查询不是等权拼接，而由PARM点击偏好模型排序。这样，真实行为提供强监督，模型生成提供覆盖。PARM在监督样本构造和后续强化学习中复用，使两个训练阶段遵循相同的生产点击信号。

课程包含四类任务：仅商品信息的I2Q；加入235B教师推理依据的Enhanced I2Q；进一步提供用户信息的UI2Q；同时提供用户上下文和推理依据的Enhanced UI2Q。基础损失是逐token负对数似然。多样性增强则加入输出查询之间的平均相似度惩罚，系数λ控制相关性和差异性的折中。自蒸馏用当前模型提高采样温度生成新候选，过滤格式异常、长度异常和违反业务规则的结果，再构造下一轮SFT数据。

第二阶段使用GRPO。总体奖励是规则奖励与模型奖励的加权和。PARM从Qwen-4B微调，输入商品、用户和候选查询，生成yes或no标签；单查询奖励采用1减去生成no的概率，集合奖励是各查询奖励的均值。规则奖励覆盖数量、词项重合、用户兴趣、流畅性、多样性和黑名单等，原文称设计了八类可验证奖励，但没有披露一套可直接复刻的全部权重。不能把“规则可计算”理解为已有完整生产实现开源。

附录B的位置感知采样很关键：点击第一位的事件被丢弃；点击第二位时，第二位为正、第一位为负；点击第三位时，前两位为负。点击位置之后的词不作为负例，因为它们可能没有被充分查看。这是一种基于检查假设的数据构造，不能保证完全消除位置偏差。

实现使用24张A100 80GB，主模型为Qwen3-1.7B。LLaMAFactory完成全参数SFT，最大长度4096、有效batch 64、学习率2e-5、bf16、训练1个epoch；ROLL执行GRPO，vLLM负责推理。原文没有完整披露SFT训练集规模、优化器、GRPO训练步数及全套超参数，复现时应将这些列为缺口。部署时并非让生成器独占最终结果，而是与日志召回、向量召回合并，经同一个排序器选出前4个查询。

3. 核心技术贡献

第一，论文将生成式推荐的输出空间设为自然语言搜索词，建立商品推荐与搜索之间的接口。它不需要重新设计SID码本，也不直接决定最终文档排序，适合以额外召回来源逐步接入。但这种结构的收益应以整体查询推荐链路衡量，不能与生成式商品召回的Recall数字直接比较。

第二，监督扩展和强化学习共用PARM。生成查询先经过点击偏好排序，再用同一信号优化策略，减少两个阶段目标不一致。EAGER-base省去PARM对查询标签的排序，Hard HR@1反而达到0.65%，高于完整模型的0.44%；完整模型Soft HR@1为77.96%，高于base的74.83%。这说明方法追求的是用户后续搜索目标的覆盖，而不是复刻日志里的唯一字符串。

第三，多样性不是单靠高温推理，而被放进训练目标和自蒸馏数据循环。去掉多样性正则后，Soft HR@1从77.96升至78.34，但APD从72.96降至68.24。这个结果揭示单一相关性代理可能偏好更同质的查询，而多查询入口需要候选之间有所区别。

第四，GRPO的主要贡献是合规对齐。去掉GRPO，Soft HR@All仅从93.82变成93.76，Rule却从9.16降至7.21。不能将这项工作概括成“强化学习大幅提高语义召回”；其证据更支持在已有较好候选生成能力上强化业务约束。

4. 实验结果分析

下表摘录论文表1与表3，HR均为百分数，APD与Rule按原表数值保留；不同指标的单位和量纲不能混用。

Soft HR有明确但较宽松的定义：生成词与日志查询完全一致，或者其中至少60%的词出现在用户进入搜索后点击商品的标题中，就算命中。因此它是后续行为相关的词项覆盖代理，不是人工语义判定，也不是搜索nDCG。完整模型Hard HR@1只有0.44%，并不表示99%以上查询无效；I2Q本来就是一对多，日志中的一个表达并非唯一正确答案。反过来，也不能用93.82%的Soft HR@All宣称93.82%的搜索意图得到完整满足。

课程消融进一步解释收益来源。I2Q的Soft HR@1为71.39；加入商品推理监督为73.03；加入用户上下文后到77.09；同时使用上下文与推理后到77.96。最大的单步相关性提升是用户信息带来的4.06个百分点。作者明确指出，这个实验识别的是新增子任务的边际作用，尚未证明固定课程顺序优于随机混合多任务训练。多样性权重约0.1表现最好，再增加会伤害相关性；自蒸馏温度约0.9—1.0较好。

模型扩到4B和8B后，Soft HR@1分别为78.39和78.65；APD分别79.13和78.84。规模增加有收益，但并非所有指标单调提高。主实验用1.7B，因此无需根据本文假设8B一定是最好的生产成本选择。

线上实验在5%流量运行9天，实验组只新增EAGER查询来源，其他下游组件保持一致。UCTR提高0.83%，PCTR提高1.28%，DAC提高2.98%，支付订单数提高3.49%，L2P提高2.38%；作者报告均达到p<0.05并在实验期保持稳定。这些是相对增幅，不是百分点。支付侧增幅比点击侧更大，说明额外点击并非全部浅层互动，但短期实验不能证明长期用户价值。论文未报告绝对基线、区间估计、各人群拆分与长期留存，应避免超出证据推断。

5. 局限与未来方向

作者明确列出三项限制。其一，模型仅在特定真实电商平台开发和验证，不同平台的用户行为、商品分布和规则不同，泛化需要进一步检验。其二，PARM来自历史曝光点击日志，可能继承位置和曝光偏差，手工规则随业务变化也需要维护。其三，目前主要优化查询生成，没有与下游排序或转化目标联合训练。未来方向是更通用的奖励建模、去偏反馈及与下游模块端到端优化。

本文分析补充两项未充分解决的问题：PARM与生产排序器在21万点击PV上的Top-1集合匹配率为79.8%，只能说明与既有排序较一致，不能证明它学到了无偏用户偏好；规则评分又复用了训练规则，因此高Rule分不代表对未知违规形式同样稳健。此外，原文没有给出线上生成的P99延迟、GPU成本或高并发压力测试，完整评估落地成本仍需本地测量。

6. 工业实践意义

对于社区UGC搜索，最贴近的试点是读帖、问答或评论互动之后的查询建议。可将点击内容标题、主题标签和近期搜索历史作为输入，以真实后续搜索构建强监督，再补充受约束的生成候选。商品属性体系不能原样迁移到帖子；社区表达包含口语、隐喻和情绪词，词项重合规则尤其容易误伤语义扩展，应重新验证。

优先借鉴其“三路召回合流”的部署方式：让生成式通道与日志、向量通道共享排序与展示规则，通过随机实验测量增量。线下同时观察查询覆盖、多样性、有效结果率和人工相关性；线上同时观察建议CTR、搜索结果nDCG、后续有效阅读和负反馈，避免只有点击改善。以上是迁移建议，原文并没有报告社区nDCG收益。

推理附录提到独立多采样生成10份完整结果，没有候选间共享；显存和计算随总token量增长。作者认为其压力低于beam search，但没有给出可对照的成本表，不应据此承诺低延迟。实际试点可控制生成长度、候选数和超时回退，并分别测冷启动与高频内容收益。使用历史点击训练奖励时，还应保留随机曝光评估或其他去偏验证，以免奖励模型与现有排序器相互强化同一偏差。

真正可操作的结论是：先让小模型学会生成足够多且相关的意图，再用清晰的业务规则和行为奖励收束；用消融确认每一步究竟改善什么指标，然后再扩大流量与模型规模。