1. 问题与动机
电商搜索相关性判断是搜索系统的核心能力，直接影响 nDCG 和 CTR 等关键指标。虽然大语言模型（LLM）在语言理解和推理方面表现出色，但在处理长尾 query、快速变化的商品信息和知识密集型查询（如问答类、知识类、否定表达、替代品查询）时，仅依赖参数化知识往往力不从心。检索增强生成（RAG）是自然的解决方案，但将 RAG 引入工业级搜索系统面临三大特有挑战：
- 外部上下文噪声严重：电商场景中检索到的商品描述充斥营销话术、标签堆砌和情感性语言，需要模型具备鲁棒的信息甄别能力；
- 极端延迟约束：生产环境要求毫秒级响应，禁止多阶段处理或迭代精炼；
- 单次推理统一评估：模型必须在一次推理中同时完成相关性评估和上下文可信度判断。
现有 RAG 方案（如 Self-RAG、Adaptive-RAG）在学术场景中有效，但无法扩展到日均数十亿请求的生产环境。论文明确指出：直接将 RAG 接入 SFT 模型反而导致 Macro-F1 下降（从 58.14 降至 57.06），证明了盲目信任噪声上下文的危害。
2. 方法详解
DyKnow-RAG 的核心思想是通过强化学习教会 LLM 学会信任——动态判断何时依赖内部参数知识、何时利用外部检索信息。
整体架构由三个阶段组成：
- 阶段一：监督初始化 + 偏好对齐（SFT + DPO），建立基础相关性判断能力
- 阶段二：不确定性优先过滤（p_θ < 0.7 阈值筛选约 50% 错误率的样本），聚焦于模型不确定的 hard cases
- 阶段三：双组强化学习（核心创新）
双组 Rollout 策略是方法的关键设计。对每个训练样本，系统生成两组各 16 条 rollout：
- Group 0（纯参数组）：仅输入 query 和 item 信息 (q, i)
- Group 1（带上下文组）：额外输入检索到的上下文 (q, i, c*)
通过对比两组的表现差异，系统能精确量化外部知识对特定样本的价值。
后验驱动的组间优势缩放机制实现了动态信任：
- 组内优势计算：A_j^(g) = (R_j^(g) - μ_g) / s_g（标准 GRPO）
- 组间优势使用两组的联合统计量（μ, s）跨组计算
- 分段缩放函数 T(Ã_j) 的参数依赖于准确率差距：β = 4σ(4(acc_with - acc_para))，α = 0.1/β
当带上下文组的准确率显著高于纯参数组时，β 增大，放大上下文利用的优势信号；反之则抑制对噪声上下文的依赖。
结构化思维链模板要求模型输出三部分：[相关性等级] + [信任决策] + [推理过程]，使信任决策可解释。
优化目标：J(θ) = ℓ^(0)(θ) + ℓ^(1)(θ) + ℓ̂(θ) - λ_KL D_KL[π_θ || π_ref]，其中 ℓ̂(θ) 是对齐项，在带上下文的 prompt 下评估纯参数序列并应用后验缩放。
训练配置：基座模型 TBStar（微调 LLM），SFT 阶段 2 epochs、学习率 1e-6、batch size 1024；GRPO 阶段 rollout group size G=16，KL 惩罚 β=0.02。奖励信号为二值正确性（解析结果与标注一致为 1，否则为 0）。
3. 核心技术贡献
- 双组对比 RL 训练范式：首次将 GRPO 扩展为双组架构，通过纯参数 vs. 带上下文的对比，让模型学习上下文的条件价值，而非无条件依赖或忽略。这比固定门控（α=2, β=0.05 配置下 Macro-F1 仅 59.31）和人工标注门控（60.15）都更有效。
- 后验驱动的自适应信任机制：准确率差距驱动的 sigmoid 缩放函数自动调节信任程度，无需人工设定信任阈值。实验显示模型在移除上下文后仍保持 74.80% 准确率（vs. 完整 75.19%），说明模型学到的是鲁棒的判断策略而非对上下文的简单依赖。
- 首个工业级动态 RAG 部署：在日均数十亿请求的淘宝搜索系统中验证了方案的可行性，p99 延迟 < 400ms，无额外推理开销。
4. 实验结果分析
离线评估基于专家标注的 Gold 基准测试集，覆盖 4 个相关性等级（L4: 60%, L3: 7%, L2: 27%, L1: 6%），聚焦知识密集型品类。
| 模型 | Macro-F1 | Accuracy |
|---|
| SFT-only | 58.14 | 71.88 |
| RAG SFT | 57.06 | 71.92 |
| RAG GRPO | 58.33 | 72.55 |
| DyKnow-RAG (SFT) | 60.33 | 73.26 |
| DyKnow-RAG (DPO) | 60.45 | 75.19 |
关键发现：直接 RAG-SFT 的 Macro-F1 反而低于纯 SFT（57.06 vs. 58.14），证实了噪声上下文的负面影响。DyKnow-RAG 最终版相比 SFT-only 提升 2.31 Macro-F1 和 3.31 Accuracy。
在线 A/B 测试在淘宝搜索上进行，4% 流量持续 7 天，覆盖数亿用户和数十亿请求：
- 问答类 query：GSB 提升 +10.37%，查询好率 +5.76 pt，商品好率 +2.45 pt
- 知识类 query：GSB +7.75%，查询好率 +2.91 pt
- 否定表达：GSB +3.25%
- 替代品查询：GSB +3.60%
- 业务指标：GMV +0.1%，IPV +2.35%，PV +2.13%
消融实验证实后验驱动的 RL 策略优于固定门控（Macro-F1 60.45 vs. 59.31）和人工标注门控（60.45 vs. 60.15）。模型在推理时不输入上下文仍保持 74.80% 准确率，证明学到了内化的知识利用策略。
5. 局限与未来方向
论文未显式列出局限，但可识别以下约束：
- 需要高质量人工标注构建 Gold 基准集，标注成本较高
- 二值奖励信号可能过度简化了相关性判断的细微差别（4 级标注被简化为对/错）
- 方法针对电商搜索领域设计，向其他搜索场景的迁移性未验证
- 未讨论对极端稀有或新兴 query 类型的表现
- 不确定性过滤的阈值 0.7 是预设值，对不同领域可能需要调整
6. 工业实践意义
直接可落地的方案：DyKnow-RAG 已于 2025 年 9 月部署在淘宝搜索，是首个大规模动态 RAG 工业部署案例。p99 延迟 < 400ms 且无额外推理开销，证明了方案的工程可行性。
对 UGC 搜索的直接启示：
- UGC 内容同样存在噪声大、更新快的特点，DyKnow-RAG 的动态信任机制可直接迁移
- 双组对比训练不需要额外标注上下文质量，仅需标准的相关性标注即可训练
- 结构化输出模板（等级 + 信任决策 + 推理）提供了可解释的判断过程
部署建议：
- 基于 GRPO 的 RL 训练需要较大的 rollout group size（16），训练资源需求较高
- 检索模块的质量直接影响效果——论文使用 BM25 + 商品特征检索
- 二值奖励信号虽简单但在工业场景中足够有效，无需复杂的奖励模型
- 不确定性过滤可有效减少 RL 训练的样本量（约 50% 过滤率），降低训练成本
与其他方案的对比价值：相比 Self-RAG 等需要特殊 token 或多阶段推理的方案，DyKnow-RAG 的单次推理设计更适合延迟敏感的搜索场景。GMV +0.1% 和 IPV +2.35% 的业务指标证明了方案的商业价值。
NVIDIA