AIGQ: An End-to-End Hybrid Generative Architecture for E-commerce Query Recommendation

1. 问题与动机

淘宝首页"猜你想搜"（HintQ）是用户进入搜索的关键入口，每日服务数亿用户。传统 HintQ 方案依赖 ID 匹配和共点击启发式，面临三个核心问题：(1) 语义浅层——ID-based 匹配只能捕捉显式共现，无法理解用户意图的语义深度；(2) 冷启动差——新 query 或低频 query 无法获得足够的共现信号；(3) 偶然发现率低——基于历史行为的匹配倾向于推荐同质化内容，缺少惊喜感。

embedding-based 方案虽部分缓解语义问题，但静态的 context-to-query 映射仍难以捕捉用户多元兴趣。更关键的是，当生成的 query 进入下游 CTR 排序模型时，语义合法性与用户偏好之间存在对齐缺口。

2. 方法详解

2.1 Interest-Aware List SFT (IL-SFT)

AIGQ 将 query 推荐建模为有序列表生成任务（而非逐 token 的下一个预测）。设计了两个变体：

• AIGQ-Direct：从生产排序输出生成平铺的 K-query 列表。使用曝光级 session 数据，仅保留至少一条被点击的三条展示 query 组成的 session。
• AIGQ-Think：推理增强变体，遵循两阶段认知过程——(1) 从用户行为归纳多兴趣触发集 {T_k}；(2) 为每个兴趣生成 query 列表 Q_k。使用 Qwen3-32B 生成自然语言推理链（rationale），产出可解释可控的输出。

2.2 用户上下文工程

行为内容表征：用微调的 Qwen3-32B 将结构化商品元数据（标题、类目、属性、标签）转化为统一文本描述。采用统一 schema："index — time — behavior type — behavior content"。

Prompt 压缩：两步优化——(1) 离散字段（时间戳、行为类型）编码为特殊 token，初始化为构成子词的平均 embedding；(2) 指令剪枝，消除冗余解释性文本。例如"1—1 day ago — search — iPhone17"压缩为"<1><1_day_ago><search> iPhone17"。

2.3 Interest-aware List GRPO (IL-GRPO)

核心算法创新——在 query 位置粒度上进行细粒度优势估计的列表级策略优化：

双层奖励设计：

• Query 级：$R_{query}(q_{i,j})={\sum }_m{w}_m{r}_m(q_{i,j})$，评估用户偏好对齐（CTR 模型近似）、语义忠实度（ROUGE-L）、查询一致性（长度约束）
• 序列级：$R_{seq}(o_i)=R_{fmt}(o_i)+R_{rep}(o_i)$，确保格式正确和非重复

优势计算：$A_{i,t}=[R_{query}(q_{i,j})-{\mu }_j^Q]/{\sigma }_j^Q+\lambda [R_{seq}(o_i)-{\mu }^S]/{\sigma }^S$

位置特定归一化 $({\mu }_j^Q,{\sigma }_j^Q)$ 确保不同位置的 query 在各自位置上公平比较。

持续 CTR 奖励自适应：$r_{CTR}(q_j)=Clip(\gamma \cdot {\hat{p}}_{{\varphi }_T}(q_j|u),0,\beta )$，采用日更新周期：每天用新数据更新 CTR 模型，再用更新后的奖励函数更新策略，对抗数据漂移。

AIGQ-Think 的解耦触发奖励：trigger 侧使用 ROUGE-L 作为奖励，与 query 侧严格信号分离，防止推理和推荐之间的梯度干扰。

训练稳定化：动态熵正则化（线性衰减权重）+ 熵自适应裁剪（基于 token 熵阈值 τ 设置差异化裁剪边界）。

2.4 在线部署架构

AIGQ-u2q 近线召回：异步推理与用户请求解耦，结果缓存在用户级 KV 表中。集成到现有多源召回栈。牺牲少量个性化时效性换取延迟可控。

AIGQ-x2q 实时召回：将 AIGQ-Think 的 CoT 输出蒸馏为紧凑的 trigger-to-query 索引，日级离线更新。排序通过复合评分 $S_{final}(x,q)=\alpha \cdot S_{rel}(x,q)+(1-\alpha )\cdot S_{eff}(q)$。

2.5 训练配置

基座模型 Qwen3-30B-A3B（300亿稀疏 MoE），SFT 训练 2 个 epoch、batch size 1024、学习率 2e-3（Megatron 框架），IL-GRPO 使用 ROLL 框架、rollout batch size 512、学习率 1e-6、每输入 8 个采样、温度 1.0。

3. 核心技术贡献

1. 列表级建模范式：首次将 query 推荐从单条生成扩展到有序列表生成，IL-SFT 和 IL-GRPO 在列表粒度上建模用户意图，更贴近实际搜索行为（一次展示 3 条 query）。

1. 推理增强的 AIGQ-Think：引入多兴趣触发归纳和推理链，使模型能"先思考后生成"。Qwen3-32B 的师生蒸馏使推理能力可迁移到部署模型。消融实验显示推理增强带来 Cate HR@30 +4.9% 的提升。

1. 位置感知的细粒度优势估计：IL-GRPO 的位置特定归一化确保列表中不同位置的 query 在公平基线上比较，避免头部位置主导梯度更新。

1. 持续自适应奖励：CTR 模型日更新+策略日更新形成闭环，10 天 A/B 实验验证了持续更新对 PVR 和 CTR 的一致提升。

4. 实验结果分析

离线评估

在淘宝 2025 年 10-11 月日志上（约 100 万 PV），与多个强基线对比：

关键发现：零样本 LLM 在 Cate HR@30 上超越 EBR 50%+，证明了 LLM 的内在语义理解能力。AIGQ-Think 全链路优化后相比最强零样本模型 GPT-5.1 提升 40%。

消融分析

组件贡献量化：

• 兴趣引导标签重排序：+0.8% Cate HR
• Prompt 压缩：+0.5% Cate HR
• IL-GRPO（AIGQ-Direct）：+9.3% Cate HR
• 推理增强（AIGQ-Think vs Direct）：+4.9% Cate HR
• IL-GRPO（AIGQ-Think）：Cate HR +1.1%, Query HR +35.6%（query 精确匹配的巨大提升）

在线 A/B 实验（30 天生产部署）

发现独特性指标：AIGQ 生成的独特 query 中 79.3% 未被其他通道覆盖，独特叶子类目 37.3% 未被覆盖——证实了生成式方案在拓展搜索覆盖上的优势。

5. 局限与未来方向

作者隐含承认的局限：

• 纯文本理解：当前方案仅处理文本化的商品信息，缺乏多模态（图片、视频）上下文理解，而电商场景中视觉信息对用户意图的影响不可忽视
• 推理延迟：AIGQ-Think 的推理增强带来显著计算开销，虽通过近线缓存+离线索引规避了在线延迟问题，但这本质上是延迟-时效性的折中（用户最新行为只能在下次访问时反映）
• 日级更新频率：CTR 模型和策略的日更新可能无法捕捉快速变化的热点趋势

6. 工业实践意义

直接可采纳的设计：

• 近线+离线混合架构：将 LLM 推理解耦到异步管线，缓存用户级结果 + 离线蒸馏触发索引，是大模型落地推荐系统的实用范式。对 UGC 搜索同样适用——可异步为用户生成个性化搜索建议。
• 列表级训练范式：IL-SFT 和 IL-GRPO 的列表级建模直接适用于任何展示多条结果的推荐/搜索场景。
• 持续奖励自适应：日级 CTR 模型更新+策略更新的闭环设计简单有效，值得在在线学习场景中推广。

部署资源参考：

• 基座 Qwen3-30B-A3B，训练使用 PPU 810E，SFT+GRPO 全流程
• 在线推理通过近线缓存+离线索引实现，对实时延迟影响可控

对 UGC 搜索的启示：

• UGC 内容（帖子、问答）同样存在 query 推荐的冷启动问题，AIGQ 的生成式方案可直接迁移
• 79.3% 的独特 query 覆盖率证明生成式方法在拓展长尾搜索需求上的巨大潜力
• 推理增强（AIGQ-Think）特别适合需要理解用户多元兴趣的场景