深度解读：SMART

1. 问题与动机

动态商品广告需要从数千万级在售目录中，为用户同时完成两种目标不同的召回：一是 retargeting，即重新找回用户浏览、加购或购买过的品牌与类目；二是 prospecting，即跳出原有交互，发现语义相关的新类目和新商品。传统协同过滤或双塔向量召回能利用行为相似性，却不擅长把“买过跑鞋”推断为“可能需要跑步配件”这类世界知识。LLM 能生成更丰富的语义查询，但作者在真实日志中发现，它并不是规则查询的通用替代品：自然语言改写会把目录中的精确品牌、类目 token 改成流畅但不匹配的表达，放到 BM25 上反而损害召回。

论文先用超过 2 万名、覆盖多个国家的生产用户做受控诊断。所有方法读取截至 T-1 日的浏览、加购、购买历史，从数千万活跃商品中取 top-200，再用 T 日真实购买类目与 0–3 分的 LLM judge 评价。规则查询在 BM25 上的 CatRecall@200 为 56.0%，LLM 查询只有 42.5%；但 LLM+ANN 的 Relevance Score 达 2.39，高于规则+BM25 的 1.95。这说明词法后端更适合精确再营销，稠密后端更适合语义探索。更关键的是，加入 LLM 后 73.0% 用户指标完全不变，仅 14.4% 用户至少一个指标改善，若全流量调用不仅昂贵，还会把有效词法候选挤出有限池。SMART 的动机因此是：先让零成本路径完成擅长的工作，再审计其输出缺口，只为真正需要语义探索的少数请求付出 LLM 成本。

2. 方法详解

SMART 是四阶段双通路系统。第一阶段生成查询。对用户历史 H={(事件、时间、商品)}，规则路径按品牌累计行为权重，购买、加购、浏览分别取 3、2、1；选择得分最高的一半品牌，并与其最常见叶子类目拼成精确查询，剩余预算由尚未覆盖的高频类目补齐。生成式路径不承担 retargeting，而是在门控触发时，用 Gemini 2.5 Flash Lite 一次结构化调用恰好生成 3 个 prospecting 查询。这个分工避免 LLM 重述已经可直接匹配的品牌和类目。

第二阶段分别执行检索。规则查询进入 Tantivy BM25 索引，文档字段包括标题、品牌、Google Product Category、product type 和五层层次化 Semantic ID。SID 来自在 Snap 商品目录上微调的 SigLIP2 多模态编码器，再用 RQ-KMeans 将连续空间离散成五层：L1 表示宽类目，L5 接近近重复商品。LLM 查询则用 768 维 gemini-embedding-001 编码标题、品牌、描述、类目的拼接文本，并在 FAISS GPU IVFFlat 稠密索引上召回。

第三阶段合并与排序。系统将两个通路的候选并集交给 LightGBM LambdaMART，使用 55 个用户、商品和跨后端匹配特征排序，再以 MMR 约束品牌、类目和语义多样性。LambdaMART 的监督标签为 0–15 的分级值，由五层 SigLIP2/SID 前缀匹配长度和行为权重共同组成；相较严格 item-ID 命中，这种设计提供约 50 倍正样本。默认候选预算中，关键词通路保留 170 个位置，LLM 稠密通路补充 30 个位置。最后仅映射到当前广告主的活跃商品集，保证不会生成目录外对象。

系统核心是输出审计式质量门控。所有用户先免费运行 BM25，随后 GBDT 读取 11 组共 54 个实时特征：用户历史 15 个、时间 5 个、购买价值 3 个、BM25 匹配 2 个、类目深度 3 个、语义历史 3 个、品牌—类目 2 个、查询 3 个、搜索结果 7 个、覆盖缺口 9 个、画像 2 个。最关键的覆盖缺口等于 1 减去“关键词结果覆盖的历史类目数 / 历史类目总数”；它让路由器观察便宜路径实际返回了什么，而不是只凭输入难度猜测。训练正标签采用 OR-of-ORs：在两次独立生成周期任一次中，SMART 的 CatRecall@200 优于关键词路径，即视为可稳定获益，用于减弱 LLM 随机性。

门控阈值在全局质量最大化与 LLM 预算 B 的约束下选择：若 GBDT 分数不低于阈值，才生成 3 个语义查询并合并两路结果，否则只重排 BM25 候选。论文没有公开 GBDT/LambdaMART 的优化器、batch size、训练步数、GPU 型号或完整训练样本量；能确认的是诊断集超过 2 万用户、目录为数千万商品、门控跨两个独立生成周期构造标签，线上阈值固定为约 10% 路由率。离线 judge 使用更重的 Gemini 3 Flash thinking，而生产生成使用 Flash Lite，避免把评价模型成本带入服务。

3. 核心技术贡献

1. 把“查询类型—索引后端—业务目标”联合设计。 规则查询、BM25、retargeting 是一组；LLM 查询、ANN、prospecting 是另一组。论文用同一批用户和相同后处理证明，把生成式查询错误接到词法索引上会让 CatRecall@200 相对下降 24.1%，因此模型能力只有与后端归纳偏置匹配时才产生价值。

1. 从输入路由转为输出审计。 常见 Router 在检索前判断请求难度，SMART 先运行便宜路径，再根据商品集密度、叶子类目数、语义覆盖和多样性决定是否升级。最重要特征是 product set density，信息增益归一为 1.00；平均 query token 数为 0.53，结果叶子类目数为 0.30，Semantic L1 coverage 为 0.27，说明实际输出比静态用户画像更能预测 LLM 的边际收益。

1. 把生成式计算预算显式纳入目标。 阈值不是追求全量最高语义分，而是在路由比例限制下最大化召回。10% 流量点既达到 CatRecall@200 峰值 56.6%，又让 Relevance Score 从 1.95 升到 2.36，接近全量 LLM+ANN 的 2.39，只付出 0.1 倍相对生成成本。

1. 给出生产规模闭环证据。 论文不止比较离线指标，还与 Snap 已优化的双塔 U2I ANN 系统做两周随机流量 A/B。转化率相对提升 27.6%，CTR 仅下降 0.9%，表明新增候选更偏高意图转化，而不是用低质量探索换点击。

4. 实验结果分析

核心对比可整理如下：

表 1 的不同 K 也验证了词法精确性：同在 BM25 上，规则查询的 CatRecall@5/20/200 分别为 41.0%、44.4%、56.0%，LLM 查询为 34.5%、37.1%、42.5%，差距随候选池扩大到相对 24.1%。然而换到 ANN 后，LLM 路径的 CatRecall@200 相对 BM25 提升 19.3%，Relevance Score 相对规则+BM25 提升 22.6%，形成明显的指标反转。结论不是某一种 query 更强，而是 retargeting 与 prospecting 需要不同指标和检索器。

门控阈值消融呈倒 U 型：路由 5%–15% 时 CatRecall 与 Relevance Score 增长最快，10% 点 CatRecall@200 达 56.6%，15% 为 56.5%；全量开启反而降至 54.5%。这与用户级分析一致：只有 2.6% 用户两个指标都改善，2.2% 仅 CatRecall 改善，9.6% 仅 Relevance 改善，12.6% 至少一个指标下降。有限 top-200 候选池意味着下游 reranker 只能降低噪声排序，无法找回已经被生成候选挤掉的关键词结果。

稳定性实验显示，第一次运行被判改善的用户中，80.1% 在第二次仍改善，仅 5.1% 翻转；次日严格留出集上，GBDT AUC 为 0.753、CatRecall@5 提升 0.99 个百分点，DNN 为 0.748 和 1.13 个百分点，说明覆盖缺口信号不依赖特定分类器。作者还扩展购买标签到 T 后 7 天：超过一半未来一周购买类目不在 T 日标签中，但固定 170+30 混合候选相对关键词路径始终保持 9%–12% CatRecall 优势，95% bootstrap 区间在每个时间窗均不跨 0。

线上两周实验以生产双塔 U2I 为 100%，SMART 的 CR 为 127.6%，CTR 为 99.1%。转化大幅提升而点击基本持平，是重要的反直觉结果：系统没有靠更宽泛、更吸睛的商品获得低意图点击，而是通过语义探索找到真正促成购买的候选。论文也报告 90% 的 LLM 成本削减，因此质量、转化和费用在同一 operating point 上成立。

5. 局限与未来方向

作者明确列出四项限制。第一，时间泛化只做到次日留出，延迟标签也只追踪一周，尚未验证多周目录更新、季节变化和不同路径对转化的长期归因。第二，离线 Relevance Score 只使用 Gemini 3 Flash 一个 judge 家族；虽然线上转化提供锚点，仍可能有同源偏好和讨好性，未来需多模型共识与人工面板。第三，固定阈值不感知实时负载，流量高峰会让 LLM 调用量同比增长；作者计划把二分类改成直接预测边际指标增量的连续回归，以动态平衡请求量与预算。第四，商品域有明确品牌、类目和五层 SID，缺少这种结构的领域必须重新定义覆盖缺口。

论文还未公开优化器、训练样本规模、硬件、端到端延迟、API 单价、缓存策略和绝对 CR/CTR，外部团队难以复现成本曲线。实验只覆盖 Snap DPA，且生产生成和离线 judge 都属于 Gemini 家族；换成开源模型、UGC 短文本或跨语言目录时，三条查询与 10% 阈值未必仍最优。另一个未充分分解的问题是：27.6% 转化增益同时包含查询生成、双索引、候选配额和重排改变，线上没有逐组件流量消融。

6. 工业实践意义

对社区 UGC 搜索/推荐，最值得直接复用的是“先便宜召回，再审计输出，再按需生成”的能力选择，而不是照搬商品品牌字段。第一阶段可用用户近期 query、关注作者、明确话题和原始关键词做 BM25/倒排召回；输出后计算话题覆盖率、作者集中度、语义簇覆盖、结果新颖度和首屏相似度。只有出现历史兴趣未覆盖、结果过度同质、长尾 query 低命中或召回置信度低时，才调用 LLM 生成 2–3 条语义扩展并进入向量索引。

指标也必须拆开。retargeting 可看历史主题/作者 Recall@K、已知兴趣 nDCG；prospecting 应看人工相关度、语义簇增量覆盖、新主题点击后长停留和后续互动，不能用一个 CTR 混合判断。论文中 LLM+BM25 的相关分变高但类目召回变差，提醒团队在 UGC 场景中避免让自然语言扩写直接污染精确实体和短 query；生成式 query 应优先匹配向量后端。

工程上可以从 5% 小流量开始做阈值扫描，记录每个路由比例的 nDCG、CTR、长停留、转化代理、P95 延迟和单请求成本，寻找类似倒 U 的拐点。门控模型先用 GBDT 足够，特征应优先取首段召回输出而非只看输入；训练标签用两次独立 LLM 生成或多日复测构造稳定 lift，降低随机性。候选配额要固定并做消融，例如词法 170/语义 30 的等比例版本，防止无限合并掩盖池稀释问题。

部署时必须保留安全降级：即使 LLM 超时或预算耗尽，每个请求已完成关键词路径，服务仍可返回结果。对高峰负载，应把固定二分类阈值升级为预算感知回归，预测“多花一次生成成本能增加多少 nDCG/转化”，再按队列压力动态排序调用。最后，UGC 内容比商品目录更新更快，应把索引新鲜度、内容安全、作者多样性和不存在实体校验纳入第二通路；生成模型只负责表达语义意图，最终候选始终来自实时可见、可审核的帖子索引。