Next-Gen Sponsored Search: Crafting the Perfect Query with Inventory-Aware RAG (InvAwr-RAG) - Based GenAI 深度解读
1. 问题与动机
这篇论文解决的是电商 sponsored search 中一个非常具体、也很有商业价值的问题：用户输入查询后，系统明明有广告库存和竞价商品，却因为 query 与广告关键词、商品标题、实时库存或预算约束没有对齐，导致无法展示任何 sponsored product ads。作者在 Walmart 场景中给出一个明确的业务量级：约 13% 的搜索查询无法召回广告。这不是普通的相关性小波动，而是直接把一次可商业化的搜索请求变成了 0 fill rate，对平台收入、广告主 ROI 和用户发现商品的体验都有损失。
已有 sponsored search 方法大致分为两类。第一类是信息检索方法，例如 dense retrieval、ANCE、RocketQA、NGAME 等，用 query 和 keyword 或商品的向量表示做召回。第二类是生成式或 NLG 方法，例如 CLOVER、ProphetNet-Ads，把用户查询改写成更可能匹配广告的表达。作者认为两类方法都有一个共同缺口：它们通常没有实时接入库存、广告预算和 bidding 状态。因此模型可能生成语义相关的查询，但这些查询不一定对应当前可展示、可竞价、可成交的商品。InvAwr-RAG 的动机就是把生成式 query rewriting 从“语言相似”推进到“库存可满足、广告可展示、业务可变现”。
2. 方法详解
InvAwr-RAG 是一个端到端的库存感知 RAG 查询改写系统，核心由语义检索、LLM 改写、历史热门 query 融合和广告相关性过滤组成。第一步是 query classifier。系统先判断用户原始查询是否属于低表现查询，例如 click-through rate 较低或历史上无法召回广告的 query。只有这类 query 会进入专门的增强路径，这个设计可以控制线上资源消耗，也避免对本来表现良好的 query 做不必要改写。
第二步是动态检索库存商品。系统使用 two-tower BERT 分别编码用户 query 和 product title，经过 pooling 得到 query embedding U 和 item embedding V，再用 cosine similarity 计算匹配度。检索时不仅看语义相似度，还要考虑广告预算约束，保证召回的是当前可展示的 sponsored products。作者把 N 设置为 20，即从向量数据库中取 top 20 个库存 item。论文解释这个 N 的选择来自多方面权衡：20 个 item 足以覆盖 query 的多个意图侧面，又不会让候选过多导致用户决策疲劳或系统响应变慢。
第三步是构造 query rewrite prompt。系统把原始 query 与检索到的相关商品属性组合成提示，让生成模型输出多样但仍相关的 query rewrite。改写模型基于 Llama2 7B，并通过 LoRA 做低秩适配。LoRA 的作用是在保留大模型通用语义能力的同时，用较少可训练参数学习 sponsored search 的领域表达、库存约束和 query 改写格式。训练数据来自搜索日志和人工标注：作者收集六个月内能让同一批 item 获得至少 500 次点击的 query，认为这些 query 具有较强用户意图和商业有效性；之后人工过滤掉与已有 query 过于相似的样本，保留能提供独立替代表达的 revised queries。
第四步是把 LLM 生成 query 与历史热门 query 合并。系统不只依赖模型生成，也会从日志中找到与生成 query 相似、且历史上能稳定产生广告展示的 popular queries。论文将每个原始 query 的改写数 K 设为 5，理由是 5 个候选足以覆盖不同语言表达和商品匹配路径，同时仍能保持 precision 和 focus。最后，系统用合并后的 K 个 query 再去检索广告 item，并通过 cross-encoder BERT 相关性模型评估 top items，只展示超过相关性阈值的广告。
3. 核心技术贡献
第一，论文把库存和广告竞价状态作为生成式 query rewriting 的一等输入，而不是把 query 改写当成纯文本生成任务。这个机制能避免“语义上相关但业务上不可展示”的改写结果，尤其适合库存和广告预算实时变化的电商平台。
第二，InvAwr-RAG 使用了混合 query generation：LLM 负责生成新鲜、多样的候选表达，历史 successful queries 负责提供经过用户行为验证的稳定表达。这个组合比单纯依赖生成模型更稳，因为热门 query 本身携带了集体搜索行为、点击和广告展示的先验。
第三，系统在链路入口使用 query classifier，只让低表现 query 进入增强路径。这是一个重要的工程选择：生成式改写和 RAG 的成本高于普通检索，如果对所有 query 都启用，会带来延迟和成本压力。只路由低 fill rate 或低 CTR query，可以把计算集中在边际收益最大的流量上。
第四，论文把 LoRA 适配的 Llama2 7B 与 two-tower BERT、cross-encoder BERT 组合起来。two-tower 负责快速语义召回，LLM 负责库存感知改写，cross-encoder 负责最终相关性门控。这个分层设计比让 LLM 直接排序所有广告更现实，也更容易接入现有 sponsored search 架构。
4. 实验结果分析
论文的实验是初步离线评估，测试集为 10,000 个历史上 0% fill rate 的 query，也就是原系统完全无法展示广告的困难样本。作者比较了 baseline、GPT-4 改写和 InvAwr-RAG 三个设置，并用 fill rate 和 NDCG@8 衡量结果。NDCG@8 由第三方人工评估者根据返回 top 8 广告 item 的相关性打分。
| 方法 | Fill Rate | NDCG@8 |
|---|
| Baseline | 0% | 0 |
| GPT-4 | 53% | 0.6458 |
| InvAwr-RAG | 68% | 0.6847 |
结果说明两件事。第一，单纯用强通用模型 GPT-4 做 query rewriting 已经能把 0 fill rate query 中的 53% 转化为可展示广告的 query，证明生成式改写对 sponsored search 的补召回确实有效。第二，InvAwr-RAG 在同样任务上达到 68% fill rate，比 GPT-4 高 15 个百分点，同时 NDCG@8 从 0.6458 提升到 0.6847。这说明领域适配、库存感知和历史 query 融合带来的收益不仅是“召回更多广告”，还保持了更高的排名相关性。
论文还给出一个业务解释：这些 no-ad-result query 原本是广告收入缺口，InvAwr-RAG 的 68% fill rate 改善有潜力在未来五年带来最高 10 亿美元广告相关收入提升。这个数字应理解为潜在业务空间，而不是已经完成的线上收入结果，因为作者明确把 A/B 测试列为后续计划。方法参数上，N=20 item 与 K=5 rewrite query 是论文中最重要的 operational knobs：N 控制库存证据覆盖和延迟，K 控制查询多样性和后续检索成本。实际系统中这两个参数应按 query 复杂度、类目、流量峰值和广告库存丰富度动态调整。
5. 局限与未来方向
作者在结论和实验部分明确承认，目前结果主要是 preliminary offline evaluation，线上 A/B 测试尚未完成。后续 A/B 将关注 Fill Rate、Click-Through Rate、Conversion Rate 和 Revenue Impact，这些指标才真正决定 sponsored search 系统是否值得全量上线。也就是说，68% fill rate 和 0.6847 NDCG@8 是强信号，但仍不能替代真实流量中的 CTR、CVR、广告收入和用户体验验证。
论文还提到未来需要继续改进模型对 user intent 的理解，并扩展到更多 product categories 和 bidding strategies。这个限制很关键：电商 query 的意图和广告主出价策略在不同类目差异很大，某些类目可能更依赖品牌、规格、价格区间或时令属性，统一 prompt 和统一 K/N 设置未必最优。作者还指出 scalability 和 efficiency 会随着 Walmart 库存和用户规模扩大而变得更重要，这意味着向量检索、LLM 改写、cross-encoder 门控都需要严格的延迟预算。
一个作者没有充分展开但实践中必须关注的限制是改写 query 的可控性。生成式模型可能引入过宽泛、过度商业化或偏离用户原始意图的表达，短期提高 fill rate，却降低长期信任。系统需要监控原 query 与 rewritten query 的语义距离、广告点击后的停留和转化质量，以及用户是否出现快速返回或投诉等负反馈。
6. 工业实践意义
对搜索和推荐从业者来说，这篇论文最可借鉴的不是“用 Llama2 改写 query”本身，而是把生成式模型嵌入现有商业搜索漏斗的方式。它没有让 LLM 替代全部召回和排序，而是把 LLM 放在 no-result 或低表现 query 的补救路径中：先检索库存证据，再生成少量 query，再用传统相关性模型过滤。这种模式适合在现有系统中灰度上线，风险和成本都比端到端生成式广告排序更可控。
对 UGC 社区搜索也有直接启发。很多社区 query 并不是完全无结果，而是“语义上有内容，但召回词不匹配、短文本表达不一致、商业广告或内容推荐无法对齐”。可以把 InvAwr-RAG 的库存换成可召回内容池、广告候选池或高质量帖子池；把 bidding constraints 换成安全、质量、时效和作者信誉约束；再用 LLM 生成 query rewrite 或 intent expansion。下游仍应用 cross-encoder、学习排序或规则门控保证相关性。
落地时建议优先选择三类流量试点：第一，历史 0 结果或低召回 query；第二，广告库存丰富但 query 表达稀疏的长尾类目；第三，用户意图明确但商品/内容表述多样的场景。上线指标不能只看 fill rate，还要同时看 NDCG、CTR、CVR、收入、用户跳出、广告隐藏率和投诉率。InvAwr-RAG 的结果表明，生成式补召回可以把 0% fill rate 提到 68%，但真正可持续的收益来自“召回提升 + 相关性守门 + 业务约束实时接入”三者同时成立。
Walmart
NVIDIA