1. 问题与动机
SAGEO Arena 关注一个经常被生成式搜索评测忽略的问题：文档只有先被召回、重排，才有机会进入生成模型上下文并被引用。既有 GEO 工作往往直接给定候选文档或固定上下文，然后观察改写后的文本是否更容易被模型引用；这种设置无法回答改写是否让文档在前置检索中消失，也无法解释搜索排序与最终生成之间的相互制约。论文将这一缺口称为缺少端到端可见性评估。
作者还指出，真实网页并不只是正文文本。标题、meta description、H1-H6 标题层级、Schema 或 JSON-LD 等结构字段承载了实体、数字、主题和页面类型信息，搜索系统通常把这些字段作为独立信号使用，而许多 RAG benchmark 会将它们丢弃。研究问题因此被拆成三层：一个优化策略能否让目标文档进入检索候选，能否在重排阶段保持靠前，以及它最终是否被生成答案引用。这个问题对社区 UGC 搜索很重要，因为帖子标题、作者、话题和实体标签同样会决定内容能否进入生成式摘要。
2. 方法详解
SAGEO Arena 构建了一个完整、模块化的生成式搜索环境。数据来自九个信息检索数据集：MS MARCO、Natural Questions、HotpotQA、NFCorpus、Quora、FiQA、DebateQA、E-commerce 和 Researchy。每个域采样 300 个查询，共 2700 个测试查询；作者通过 Google Custom Search API 为每个查询最多收集 100 条结果并抓取网页，清洗后得到 171003 篇独立文档，平均每个查询关联 63 篇候选文档。这个规模比只在几十篇固定候选上做引用测试更接近实际检索流量，同时覆盖网页搜索、社区问答、购物、金融和学术等多种内容形态。
文档表示被明确拆为结构信息和正文段落两部分。结构信息包括标题、meta description、H1-H6 标题、Schema/JSON-LD 和可供搜索引擎解释的实体属性；正文则按 256 token 切段，段间重叠 64 token。作者没有把所有字段简单拼成一段文本，而是把每个正文 passage 与同一文档的结构字段配对，形成 semantic unit。这样可以研究结构字段对召回的贡献，也能观察正文证据对重排和生成的贡献。
检索器使用 BM25，并为 semantic unit 中的每个字段建立独立索引。给定查询后，系统分别得到各字段排名，再用 reciprocal rank fusion 汇总 passage 分数。论文的执行配置取每个查询的 top-100 passage，之后使用 Qwen3-Reranker-4B 对 query-passage 对进行 cross-encoder 重排；最后保留 top-10 候选交给 GPT-5-mini 生成带行内引用的回答。作者还将 Qwen3-Reranker-4B 替换为 BGE-Reranker-v2-m3，并将 GPT-5-mini 替换为 Claude Sonnet-4.6 做鲁棒性验证。
评测以目标文档为中心。每个测试查询先运行一次原始 pipeline，从进入生成阶段的 top-10 文档中随机选择一篇作为 target，然后只优化这一篇文档并重新索引，再用同一查询重复执行检索、重排和生成。检索与重排阶段使用 Hit Rate，生成阶段使用 Citation Rate；排名变化定义为优化前排名减去优化后排名，正值代表位置改善。检索使用 H@20，重排使用 H@10，文档未进入候选时按 k+1 计分，生成阶段则按来源首次被引用的顺序记录排名。这样既测优化后的绝对可见性，也能定位它在哪一层产生收益或损失。
作者评估十种 LLM 优化策略。八种基础策略分别改变权威语气、流畅性、简洁语言、引用、引语、统计事实、技术术语和词汇多样性；All-in-One 同时使用这些策略并调整排版，AutoGEO 则使用从生成式引擎引用行为中学习的规则。作者进一步提出 StageAware 策略：结构字段中镜像正文里的关键实体、数字和领域词；正文开头直接给出主张；每个主张携带可独立理解的证据；根据文档领域和用户意图决定是否修改，而不是对所有文档做大幅重写。
3. 核心技术贡献
第一，论文把生成式搜索从答案生成任务还原为检索、重排、生成三段式可见性任务。文档若在前两层被过滤，生成模型再强也无法引用它；因此 GEO 的指标不能只看 citation rate，还要测 H@20、H@10 与 stage-wise rank change。这个设计把传统 SEO 的排序问题和 GEO 的引用问题放到同一个实验合同中。
第二，SAGEO Arena 保留结构信息并进行字段级分析。结构字段对 BM25 有直接的词项匹配价值，正文则更适合承载完整论据、可读性和可引用表达。作者的结果说明二者不是替代关系：结构信息增强召回，正文质量影响重排与生成，混在一起会掩盖信号来源。
第三，StageAware 将优化目标与 pipeline 阶段对齐。它不是把八种改写策略全部叠加，而是让结构字段保持实体密度，让正文保持清晰、具体和主题连贯，并在字段已经足够好的时候不再修改。这个保守原则很适合内容搜索，因为无条件扩写会改变词汇分布、增加噪声，还可能伤害原本稳定的召回。
第四，论文同时做了查询变体、替代 retriever、替代 reranker 和替代 generator 的验证。它显示 body-only 退化并不只是 BM25 的偶然现象；换成 dense 或 hybrid retriever 仍能看到类似趋势，换用 BGE 重排器与 Claude Sonnet-4.6 后大方向也保持一致。
4. 实验结果分析
主结果最清楚地展示了结构信号和正文信号的分工。未优化 baseline 的 retrieval H@20 为 0.58，reranking H@10 为 1.00，generation citation rate 为 0.50。只改正文时，八种策略平均把 retrieval H@20 降到 0.53、重排 H@10 降到 0.84、引用率降到 0.47；只优化结构信息时，平均 retrieval H@20 上升到 0.71，较 baseline 提升 22%，但重排 H@10 为 0.83、引用率为 0.52。结构与正文一起优化时，平均 retrieval H@20 为 0.67，重排 H@10 为 0.75，引用率为 0.48，说明简单叠加并不能自动获得全链路收益。
逐策略结果也揭示了典型失败模式。body-only 的 Technical Terms 将检索 H@20 降至 0.50，Unique Words 降至 0.53；AutoGEO 的 retrieval rank drop 达到 -22.35。论文的解释是，原始查询通常使用常见表达，强行将 eating 改成 alimentary routines、sleeping 改成 somnolence 会降低词项重合；AutoGEO 还容易扩写过长，稀释关键词密度。对于生成式搜索，文档一旦掉出 top-100 或 top-10，后续生成质量再高也没有机会挽回。
StageAware 的组合实验更有实践价值。它在 retrieval H@20 达到 0.75，相对 baseline 提升 28%，retrieval rank change 为 +4.86；reranking H@10 为 0.80，虽然比选入生成阶段的 baseline 1.00 低，但平均位置变化仅 -0.08；citation rate 达到 0.58，citation rank change 为 +1.01。相比之下，EasyLang + Quote 的 retrieval H@20 为 0.67、citation rate 为 0.54，Fluency + Quote 为 0.66 和 0.54，StageAware 在三层之间取得更好的平衡。
作者还检查了模型替换和查询改写的稳定性。将 BM25 换成 BGE-base-en-v1.5 dense retriever，或使用 BM25 与 dense 的 hybrid retriever，body-only 优化仍普遍降低检索可见性。将 reranker 换成 BGE-Reranker-v2-m3 后，退化趋势反而更明显；将 generator 换成 Claude Sonnet-4.6 后，大多数策略的 citation rate 和 rank change 也继续变差。对扩展、简化、同义改写和抽象四类 query variation，优化后的文档都出现可见性下降，而且查询越偏离原始表达，下降越明显。
答案质量不是论文的主指标，但作者用 3000 个优化前后样本做了 sanity check，以 GPT-5.4 评估是否解决查询信息需求。总体结果从 88.9% 变为 87.3%，变化幅度很小，说明单篇 target 文档的优化并不会显著改善整体答案质量；它主要改变的是该文档在检索、重排和引用链路中的可见性。这个区分很重要：提升内容曝光不等于提升用户满意度，必须另设答案正确性、引用支持度和 query 解决率。
5. 局限与未来方向
作者在附录中明确承认，SAGEO Arena 不能完整复现商业搜索引擎，因为真实系统中的专有排序信号和用户行为信号难以获得与重建。当前 benchmark 只评估内容创建者可以观察和直接修改的因素，未来需要纳入更丰富的排序与行为信号。
从实验设计看，目标文档是从原始 top-10 中随机选取的，因此它保证了 target 与 query 有一定相关性，却没有覆盖本来就在召回之外的长尾文档。系统默认使用 BM25、Qwen3-Reranker-4B 和 GPT-5-mini，尽管做了替代模型实验，仍不能代表所有商业检索栈。答案质量只用单篇文档被改写前后的 3000 个样本做辅助分析，不能等同于长期点击、停留、创作者生态或用户信任指标。
论文没有充分讨论恶意内容操纵、结构化字段注入和不同内容作者之间的公平性问题；这些是把 SAGEO 用于社区平台时需要额外加上的安全约束。另一个工程边界是其 corpus 主要来自公开网页，UGC 内容的口语、拼写错误、重复搬运和短文本上下文更复杂，迁移前应重新校准字段权重与候选粒度。
6. 工业实践意义
对社区 UGC 搜索，最直接的落地方式是把生成式答案链路拆成三个可观测阶段。召回侧保留 query 与帖子标题、作者、话题、实体和时间字段的独立索引；重排侧同时看正文证据与结构一致性；生成侧只允许引用进入 top-k 的帖子，并记录每个引用来自哪个候选以及被截断的原因。这样，当 CTR 或 query 解决率下降时，可以判断是召回漏了、重排错了，还是模型没有正确使用已召回证据。
SAGEO 的负面结果提醒团队不要把所有帖子都交给 LLM 统一润色。对于已经清晰的标题和短文本，强行加入生僻术语、长篇解释或大量引用，可能降低与真实 query 的 lexical overlap。更稳妥的策略是做字段级、阶段级改写：标题和话题字段只补充确实存在的实体与数字，正文仅让主张更清楚、证据更自洽；用户搜索词和帖子原意不能被模型为了追求可引用性而改写掉。
评测上，可以把论文的 H@20、H@10、Citation Rate 映射到业务指标树。离线记录召回覆盖率、重排 nDCG、引用支持度、答案事实性；在线同时看 CTR、长点击、收藏、关注、负反馈和 query 解决率。对一个被优化的帖子，应做 before-after 的分层实验，检查它是否提高了引用率却降低了整体答案质量，或者只在原始 query 表达上有效、在同义改写和抽象 query 上失效。
StageAware 的实体镜像可以迁移为社区内容结构化：从正文抽取商品、地点、人物、时间、主题和数值，写入可检索的结构字段，但必须保留来源和置信度。对于含医疗、金融或争议内容的帖子，结构字段不能由生成模型无条件创建；应要求实体可回溯、做安全审核，并把结构增强后的结果与原文共同送入重排。
部署时建议先在离线 shadow 流量上测量不同字段的增益，再按 query 类型逐步放量。默认候选预算可沿用 top-100 召回、top-10 生成的思路，但真实系统要按 P95/P99 延迟、token 成本和 GPU 负载重新设定。监控应包括结构字段覆盖率、改写前后 query 词项重合、召回出圈率、引用率、引用后点击率、幻觉率和不同作者/主题的曝光公平性。若结构增强提高了召回却带来低质内容曝光，必须有内容质量和负反馈护栏。
最后，建议把生成式搜索优化视为可回滚的实验组件，而不是内容生产流程中的一次性改造。保留原始帖子、结构增强版本、重排版本和最终引用轨迹；每次只启用一种优化策略，先验证检索与重排没有退化，再看生成阶段是否有增益。对 UGC 场景，尤其要加入 query 变体、口语表达、拼写错误、长尾实体和冷启动作者切片。只有当 nDCG、CTR、答案正确性和作者生态同时稳定时，才适合把 StageAware 类策略扩大到全量流量。