ByteDanceLEAPS: An LLM-Empowered Adaptive Plugin in Taobao AI Search
Alibaba
Taobao📖 有深读 · 10 分钟针对 LLM 时代用户搜索从关键词转向自然语言多约束查询的趋势，本文提出 LEAPS——在淘宝 AI 搜索现有架构两端附加 LLM 插件，采用 'Broaden-and-Refine' 范式。上游 Query Expander 通过逆向数据增强、后验知识 SFT、多样性感知 RL 三阶段训练，对原始 query 生成自适应互补的查询组合最大化候选集；下游 Relevance Verifier 综合多源信号过滤噪声召回。LEAPS 已在淘宝 AI 搜索线上部署，相比基线显著缓解了精确 NL query 零结果与简化 query 噪声多两种极端。
INSIGHTLEAPS 的 Broaden-and-Refine 思路对 UGC 社区搜索极具参考价值：与其重写搜索主链路，不如在两端各挂 LLM 插件——上游做 query 多样化扩展提高召回覆盖、下游做语义级精排过滤兜底相关性。三阶段训练策略 (逆向数据增强→后验 SFT→多样性 RL) 给出了一条可落地的 LLM query 扩展模型训练范式，避免了直接 zero-shot 调用 LLM 的高成本与不稳定。Relevance Verifier 也提示我们：将 LLM 作为下游过滤器比作为主排序器更易工程化。
LEAPS: An LLM-Empowered Adaptive Plugin in Taobao AI Search 深度解读
1. 问题与动机
LLM 时代用户搜索行为正从离散关键词转向自然语言多约束 query。典型案例：『我想买亚麻男士西装，500-800 元，适合海滩婚礼，不要纯黑、不要大花纹』——5 个并列约束。现有电商搜索面临两难：精确 NL query 频繁触发零结果，强行简化 query 又会返回大量噪声逼用户自己筛。LEAPS 一个月线上 A/B 显示 Sufficient Result Rate (首屏≥10 个相关 item 的概率) 从 77.0% 提升到 91.4%——也就是说基线状态下接近 1/4 的搜索请求其实首页相关内容不足。该问题在淘宝月活数亿的规模下意味着大量用户被劣质结果劝退。
业界已有方案如 Query2Doc (查询扩展)、MiniELM (端到端语义召回)、ICL LLM Pipeline (上下文学习重写) 等都尝试过用 LLM 改造搜索，但要么对复杂多约束 query 仍乏力，要么改造主搜引擎成本过高。LEAPS 选择走 "non-intrusive" 路线——把现有搜索引擎当黑盒，只在两端各挂一个 LLM 插件。
2. 方法详解
整体框架是 Broaden-and-Refine：上游 Query Expander 把单 query 扩展为多个互补 query 子集合并到候选池，下游 Relevance Verifier 用多源信号 + CoT 推理逐条裁剪。
Query Expander (ℰ) 三阶段训练
Stage 1 - Inverse Data Augmentation：从精选商品 title 反向生成口语化 query（用 DeepSeek-R1 合成符合淘宝真实用户语料的表达），按标准 NLL warmup 模型：
ℒ_align(θ) = -E_(x,y)~D_align Σ log π(y_i | y_0:i-1, x; θ)
作用是给模型注入电商 query 的领域语言。
Stage 2 - Posterior-Knowledge SFT：假设 query 的多个属性有层次重要性，并非每个都是核心约束。系统对原 query 做属性置换生成多个 candidate 重写、提交给搜索引擎、用 Verifier 度量每个重写返回的相关商品占比，取 top-k=4 个最佳作为 SFT 目标 (Algorithm 1)。500-query 审计显示 mocked 与真实 user-profile 排名的 Spearman ρ≈0.96，表明用户侧特征对 "重写质量评估" 几乎正交，证明该 posterior 信号可信。
Stage 3 - Diversity-Aware RL (GRPO)：单条 SFT 只能优化单个重写，无法刻画 "一组重写的集合覆盖力"。Effective Relevance reward 通过去重直接惩罚冗余：
R_eff = |I_r| / N，其中 N=100 是每个 query 的检索预算，I_r 是 Verifier 判定相关且去重后的商品集合。RL 训练限制 R_eff ∈ [0.1, 0.9] 以稳定，group size 8，KL β=0.04。
Relevance Verifier (𝒱)
多源数据融合：商品页 OCR 文本、精选高质量评论、价格、销量、店铺/品牌信誉、用户地理位置——一起组装成 "重构粒度上下文"。
CoT 推理内化：多指令 SFT 用 ~800k query-item pair（按四档复杂度分层采样）训练 Verifier 预测二分类 relevance + 简短理由。双标 + 分歧裁定 (分歧率 ~8%) 在 2000 对审计上达到 Cohen's κ=0.81。CoT rationales 由 DeepSeek-R1 在不暴露 ground-truth label 的情况下生成，保留的 rationale 中 ≥92% 与 label 一致。一个 5000 对的审计显示 Verifier 与人工标注的一致性 ~95%，κ=0.88。
3. 核心技术贡献
- Posterior-Knowledge SFT 替代传统 RL 探索冷启动：用引擎+Verifier 反馈替代昂贵的 RL 试错冷启动，ablation 显示这是 Expander 三阶段中最关键 (去掉 -0.14 F1，是单点最大下降)。
- Effective Relevance reward 强迫覆盖：相比按重写单独算 reward，去重后归一化的 R_eff 强制 RL 优化 query 集合的边际信息增益，与传统 GRPO 在 LLM RLHF 中的范式不同。
- 黑盒搜索引擎假设的工程价值：LEAPS 只通过 query 提交 + 结果聚合与底层引擎交互，整个方案 plug-and-play，跨不同 backend (BM25/embedding/hybrid) 均可适配——这对任何想给现有大型搜索系统加 LLM 增强的团队是关键设计决策。
- 多源 + CoT 的 Verifier：相比 raw LLM-as-judge 直接打分，融入价格/销量/OCR/评论 + CoT rationale 让 verifier 在工业混杂噪声下大幅提升精度 (去掉 multi-source 降 0.10 F1，去掉 CoT 降 0.09 F1)。
4. 实验结果分析
离线主实验
Taobao 内部 (production retrieval backend):
- Production Baseline: P@20=0.62, R@20=0.58, F1@20=0.60
- LEAPS: P@20=0.79, R@20=0.82, F1@20=0.81 (+19 pts F1@20)
ESCI 公开 (BM25 + BGE hybrid):
- Baseline: 0.55 / 0.51 / 0.53
- LEAPS: 0.72 / 0.74 / 0.73 (+20 pts F1)
Baselines: Query2Doc 0.59 / MiniELM 0.62 / ICL LLM 0.69 / Claude Opus 4 0.72。LEAPS 显著超过用 Claude Opus 4 当 reranker 的强基线。
复杂度分层 (Table by constraint count)
| 方法 | Simple=1 | Moderate=2 | Complex=3 | Heavy≥4 |
|---|---|---|---|---|
| Raw | 0.79 | 0.64 | 0.47 | 0.32 |
| MiniELM | 0.81 | 0.67 | 0.52 | 0.38 |
| Claude Opus 4 | 0.85 | 0.75 | 0.64 | 0.52 |
| LEAPS | 0.86 | 0.82 | 0.77 | 0.70 |
亮点：在 ≥4 个约束的 Heavy 段，LEAPS 比 Raw 翻倍 (0.32→0.70)，比 Claude Opus 4 仍高 18pt。
Ablation
Expander-only F1=0.61 (R 主导)；Verifier-only F1=0.56 (P 主导)——两者缺一不可。
- w/o Stage 2 Posterior SFT: F1=0.67 (-0.14, 最大单点下降)
- w/o Stage 3 RL: 0.72 (-0.09)
- w/o Stage 1 Aug: 0.75 (-0.06)
- w/o CoT: 0.72 (-0.09)
- w/o multi-source: 0.71 (-0.10)
在线 A/B (1 个月，July 2025)
- CTR: 9.4% → 11.9% (+27.1%)
- EPS: 11.3 → 12.8 (+13.3%)
- CPS: 0.82 → 1.18 (+43.9%)
- SRR: 77.0% → 91.4% (+18.7%)
- 全部 p<0.001。200 个多约束 query 的 production 审计：LEAPS 在 84% 的 case 上首页完全合规 (vs 控制组 41%)。
5. 局限与未来方向
作者明确指出：
- 重写权重平均化：N=100 检索预算在多个重写间均等分配，未来应做 confidence-aware allocation——置信度高的重写分配更多 slot。
- 稀有实体兜底：在含罕见实体的 idiosyncratic query 上仍有 low-result 残留，建议联合 retrieval-side 的 index expansion。
- （未深入披露）调用 LLM 的成本：双 Qwen3-14B 推理叠加在每次搜索请求上，对长尾 QPS 与冷启动延迟的影响有限说明。
- 在 ESCI 这种英文公开集与 Taobao 中文电商之间的迁移性未充分实验。
6. 工业实践意义
对要把 LLM 引入工业搜索/推荐的团队：
- Plug-in 思路比改主搜引擎更落地：LEAPS 的 Broaden-and-Refine 是低风险高 ROI 范式，搜索引擎几乎不动，所有 LLM 创新都在两端插件里——可独立迭代、独立回滚、独立扩缩容。对老牌成熟系统尤为友好。
- Posterior-Knowledge SFT 是个被低估的范式：与其纯 RL 探索，不如先用既有 ranker/Verifier 的反馈做 SFT 冷启，再切 RL 提升 ceiling。这套两段范式对 query rewrite、生成式 retrieval、relevance modeling 都通用。
- 多源 + CoT Verifier 工业可复用：直接照搬到内容/UGC 平台——价格/销量换成内容质量分、收藏数、作者权威度等，CoT rationale 既提精度又可日志化便于人工 debug。
- 生产部署细节：双 14B 模型 INT8 + TP=2，P99 ~290ms，峰值 QPS ~150——给团队部署 LLM-in-the-loop 搜索一组实参考。Verifier 用 ~800k 高质量人工标注数据是关键投入，没这个数据规模性能掉得很厉害。
- 对社区/UGC 搜索：UGC query 经常更口语化、约束更分散，LEAPS 在 Heavy≥4 约束上 0.32→0.70 的提升暗示这套范式恰恰击中 UGC 搜索的痛点。Verifier 的多源信号在 UGC 场景可换成内容质量、互动数据、作者画像等，迁移直接。
City University of Hong Kong
Walmart
Meituan
Tencent
University of Illinois Chicago
Adobe