深度解读：From Relevance to Authority — 权威性感知的生成式检索

1. 问题与动机

生成式信息检索 (GenIR) 将检索过程建模为文本到文本的生成任务，利用大语言模型的广泛知识进行文档召回。然而，现有 GenIR 方法几乎完全围绕语义相关性进行优化，忽略了文档可信度这一关键维度。作者指出，在医疗、金融等高风险领域，仅凭语义匹配可能导致未经验证的个人博客与权威医疗机构官网获得相同排名，给用户带来严重的信息安全风险。

论文明确了三大挑战：(1) 如何在大规模场景下定义和量化权威性；(2) 如何在不损害相关性的前提下引入权威性意识；(3) 如何在现有生产系统中安全部署权威性感知模型。这项工作来自 Naver 搜索团队与成均馆大学的合作，基于 Naver 商业搜索平台的真实场景。

2. 方法详解

AuthGR 由三个核心组件构成：

多模态权威性评分 (Multimodal Authority Scoring)： 使用视觉-语言模型 (VLM) 从文本信号（标题、正文、URL 元数据）和视觉信号（页面截图）联合评估文档可信度。评分基于三个核心维度：专业性 (Expertise)、官方性 (Officialness) 和公共利益 (Public Interest)，同时检测商业意图和有害内容。最终输出 0-100 分的权威性分数：Authority(d) = f_VLM(T(d), V(d))。验证实验显示，多模态输入的 ROC-AUC 达 0.915、准确率 97%，远优于纯文本的 81%——这证实了视觉线索（如页面布局、Logo、广告密度）对权威性判断的关键作用。

三阶段渐进式训练流水线：

• Stage 1 — 领域持续预训练 (CPT)： 使用 985 万 query-document 对将通用 LLM 适配至搜索领域。模型基于 HyperCLOVAX-SEED-Vision-Instruct 3B 参数初始化。输入格式为 [Query + URL + Title + Body]，使用标准自回归损失。训练在 8×A100 GPU (DeepSpeed ZeRO-3) 上耗时约 57 小时，batch size 256，学习率 5×10⁻⁶，AdamW 优化器 (β₁=0.9, β₂=0.95)，余弦调度器。
• Stage 2 — 监督微调 (SFT)： 使用 395 万经过精筛的 query-document 对优化 DocID 生成。关键创新是数据过滤：通过频率剪枝和相关性验证移除了原始点击数据中 63% 的噪声，这一步带来了 P@3 +16.62% 的提升。batch size 512，学习率 1×10⁻⁶，3 个 epoch，约 20 小时。DocID 使用 host 级 URL 作为粒度。
• Stage 3 — 群组相对策略优化 (GRPO)： 采用 13,810 条高频查询进行偏好优化。群组大小 G=256，KL 系数 β=0.2，rollout 温度 1.5。核心公式包含截断似然比和 KL 散度惩罚。GRPO 引入权威性加权的线性缩放奖励，将权威性信号融入强化学习优化目标。训练约 6 小时。

混合集成流水线： 将现有排序器与 AuthGR 通过加权线性融合部署：S_final(d|q) = S_rel(d|q) + λ·S_auth(d|q)·I[d∈D_auth(q)]，其中 λ=0.6（验证集调优）。这种渐进式集成策略确保了线上部署的安全性——在未经验证的查询上不启用权威性调整。

3. 核心技术贡献

贡献一：首次在 GenIR 中引入权威性维度。 此前生成式检索研究完全聚焦于相关性优化。AuthGR 通过 VLM 多模态评分首次将可信度作为一等公民纳入检索框架，弥补了一个被广泛忽视但对实际搜索体验至关重要的缺口。相比纯文本评分，多模态方法将准确率从 81% 提升至 97%。

贡献二：高效的三阶段训练使 3B 模型匹配 14B 性能。 通过 CPT → SFT → GRPO 的渐进式训练，3B 参数的 AuthGR 在 P@3 (0.3856 vs 0.3854) 上匹配了 14B HyperCLOVAX 基线，且推理延迟降低 2.35 倍 (1225ms vs 2881ms)、吞吐量提升 2.51 倍 (3.26 vs 1.30 req/sec)。

贡献三：数据质量工程的显著收益。 SFT 阶段的数据过滤策略移除了 63% 的噪声数据，却带来了 P@3 +16.62%、R@5 +14.02% 的大幅提升，证明了数据质量远比数据规模更重要。

贡献四：商业平台验证的实用部署方案。 混合集成流水线和渐进式部署策略使 AuthGR 能安全接入现有生产系统，无需全量替换现有排序器。

4. 实验结果分析

离线评估 (Table 1)： AuthGR 3B 达到 P@3=0.3856、R@5=0.5464、R@10=0.7175，在三个指标上均与 14B 基线持平（P@3 差异仅 0.0002），且在统计显著性检验中 p=0.0277 (Table 8)。

消融实验 (Table 4)： 各训练阶段贡献清晰——CPT 贡献 +4.8% P@3，GRPO 贡献 +3.0% P@3，全流水线相比仅 SFT 提升 +8.5%。排序优化方法对比中 (Figure 4)，GRPO (+3.5%) 优于 RLOO (+3.0%)、加权交叉熵 (+0.2%) 和 Reinforce++ (-1.7%)。

权威性分布提升 (Table 5)： GRPO 训练后，生成文档的平均权威性分数从 87.2 提升至 90.4，低权威文档比例下降 10.2%，高权威文档比例上升 4.5%。

人工评估 (Table 2)： 基于 500 条查询的盲审对比（5 分制），混合集成系统 (3.41) 比生产系统 (3.06) 提升了 11.4%。

在线 A/B 测试 (Table 3)： 这是本文最亮眼的结果——在 Naver 商业搜索平台的大规模测试中：有点击页面 +21.36%、总文档点击 +22.07%、Top-1 CTR +22.83%、Top-3 CTR +22.68%、Top-5 CTR +22.76%。所有指标均获得超过 20% 的提升，这在成熟搜索引擎中是非常罕见的大幅增益。

5. 局限与未来方向

作者明确指出三个局限：(1) 当前权威性主要依赖 VLM 评分的显式信号，未纳入隐式信号（如停留时间、滚动深度）来辅助满意度建模；(2) 权威性推理能力随模型规模提升（0.5B 显著弱于 3B），但受算力限制未扩展到 3B 以上；(3) 未来可通过量化和投机解码技术部署更大模型。

此外一个值得关注的点是：VLM 权威性评分每季度全量重打一次（约 10 万站点消耗 3000 万 token），每周通过 GBRT 模型增量更新——这一更新频率是否足够应对快速变化的 UGC 内容值得讨论。

6. 工业实践意义

直接可借鉴的技术方案：

1. UGC 搜索中的内容质量信号： 社区搜索中用户生成内容质量参差不齐，将内容权威性/质量作为生成式检索的额外信号可以显著提升结果质量。AuthGR 的多模态评分方法（结合文本和视觉特征）尤其适用于 UGC 场景——帖子的排版质量、图片质量等视觉线索与内容可信度高度相关。

1. 数据过滤工程： SFT 阶段通过过滤 63% 噪声数据获得 +16% 的提升，这是一个低投入高回报的工程优化方向。对于任何基于点击日志训练的模型，都应优先考虑数据质量而非堆量。

1. 小模型匹配大模型： 3B 匹配 14B 的结果表明，通过精心设计的训练流水线（特别是 CPT + 数据过滤 + GRPO），小模型可以达到大模型的效果，对部署成本控制有重要意义。推理延迟从 2881ms 降至 1225ms (2.35×)，吞吐量从 1.30 提升至 3.26 req/sec (2.51×)。

1. 安全部署策略： 混合集成方案（λ=0.6 加权融合 + 查询级触发）是将新模型安全接入现有系统的良好实践。渐进式部署而非一步到位替换，大幅降低了线上风险。

1. A/B 测试的量级： +22% CTR 提升在成熟搜索引擎中极为罕见，说明权威性维度确实是现有系统的重大盲点。任何具备搜索业务的团队都应认真评估在排序中引入内容质量/权威性信号的可行性。