RIT-RAG：检索决定去哪里，Agent决定读什么

1. 问题与动机

RIT-RAG关注的失败并不是缺少更大的向量模型，而是检索接口丢失了证据的组织关系。普通Agentic Search每轮收到一批独立chunk，只能继续改写查询，难以知道段落属于哪个产品、年份、章节或子问题。主题相似的片段可能缺少真正的答案依据，Agent却仍要读取整批内容。PageIndex把目录交给模型，让模型选择阅读位置，但需要先选定一份文档，选错后无法在同一流程中换到其他文档；整个目录也可能超过上下文限制。

论文给出一个具体解释：两个都叫“Configuring the server”的章节，只有祖先节点才能告诉模型它们来自不同版本的产品。把标题孤立地交给模型，就可能把版本相关的证据混用。作者因此把语料建成文档森林，再让内容检索按query诱导局部子森林，避免在没有看内容之前押注单篇文档。这个思路与社区搜索的跨帖问答有关：帖子、楼层和引用回复的组织关系，可能帮助模型区分相似措辞下不同语境的事实。不过社区短帖是否具有足够结构，仍需业务验证，本文没有报告社区nDCG或CTR。

2. 方法详解

离线表示中，每份文档是一棵树，章节、节和子节是节点。节点只拥有自己标题下、不属于子节点的正文，因此每段文本恰好归属一个节点。标题必须存在，摘要和关键词可以省略。模型看到的树是JSON：节点ID、元数据及保持原顺序的children，正文不在初始结构中，必须经Read工具取回。这一点让“看到目录”和“读取证据”成为两个不同动作。

chunk必须在节点内部切分，不能跨节点；一个节点可以含多个chunk。索引保存chunk到节点的映射，以及祖先ID和标题。在线首先召回top-k′ chunk，作者主配置k′=200。每个节点的分数等于其被召回chunk中最高的相似度，随后保留top-n节点，n=50。再把这些节点到根的所有祖先取并集，保留对应父子关系，构成query相关子森林。子树按树内最高节点分数排序。因而结构大小由选中节点及祖先决定，而不是由语料总量决定；不是把整棵百万页目录塞进上下文。

Agent的流程可以写成：生成查询→GetToC返回子森林JSON→推理选择节点ID→Read读取所选节点→回答、继续读节点或改写查询。每次GetToC都会从全语料重新检索，因此之前的候选文档不会限制下一轮。最多10次工具调用，其中GetToC最多3次，达到预算后停止。普通RAG和Agentic Search等对照共享BM25与gte-modernbert-base稠密检索融合的混合检索器，使用FAISS和最多512 token的chunk，避免把结果差异解释为换了检索模型。

结构来源依语料而不同：WixQA利用HTML标题和产品分类形成目录及站点层级；QASPER用论文章节；FinanceBench原生目录过粗，用PageIndex流程解析PDF并由LLM诱导更细目录；EntDocs用网页breadcrumbs形成站点层级，每网页一个节点。小语料额外生成摘要和关键词，WixQA用Haiku，QASPER与FinanceBench用Qwen3-32B；284万网页的EntDocs只用标题，不做全量LLM元数据生成。

本方法没有提出新的梯度训练过程或RL目标，因此不存在要照抄的优化器、batch size或训练步数。复现重点是索引、树构造、工具预算与提示。生成模型包括Claude Haiku 4.5、GPT-5-mini及GPT-5.6-Luna，主准确率由Gemini 2.5 Flash比对标准答案判分。对训练硬件或训练样本量不能从本文推断，因为它主要是推理阶段的结构化检索系统。

3. 核心技术贡献

第一项贡献是把内容召回与结构导航结合。与PageIndex先选一个文档不同，RIT-RAG允许多个文档的证据节点同时出现，查询失败后也可以重新检索。它利用现成目录而不是把语料重新抽成实体图，减少大型语料需要的预处理。相同Haiku模型下，QASPER准确率为88.6%，而PageIndex为76.0%；但这个差值是整套方案的对照结果，不能单独归因于某一个实现组件。

第二项贡献是选择性阅读接口。GetToC负责暴露“有什么结构”，Read负责按需提供“有什么正文”。Agent不再被迫读取所有命中chunk，还可看到祖先提供的版本、所属文档等语境。与同检索器的Agentic Search相比，WixQA在Haiku下从84.5%到95.0%，表明收益不依赖替换embedding。作者也测量读取证据的precision、recall和F1，而不只看最终答案。

第三项贡献是百万页规模的验证。EntQABench有317个合成问题，覆盖EntDocs中的三个产品，完整检索语料仍包含284万页面。该规模下全目录导航无法放入上下文，全量图抽取费用也难承受，RIT-RAG以现有层级和标题运行。需要区分“检索语料很大”与“评测问题覆盖广”：317个问题并不等于所有产品的用户需求都已得到验证。

4. 实验结果分析

下表直接采用正文表1、表3和附录表8，准确率单位为百分比；前三项使用Haiku作为生成模型，EntQABench也取Haiku列。

在WixQA中，RIT-RAG相对Agentic Search高10.5个百分点；QASPER只高2.4个百分点，说明普通Agent检索已经能够提供大量科学论文证据时，新增结构的边际收益更小。FinanceBench高10.0个百分点，但对最强基线Interact-RAG的优势为9.3个百分点。不能把“比某个基线高10.0”误写成“比所有基线高10.0”。

EntQABench下，RIT-RAG三个模型的准确率为81.4%、83.9%和89.0%；对应最强基线为74.8%、76.0%和77.6%。逐列相减是6.6、7.9和11.4个百分点。摘要与结论写的是6.8–11.4，正文表格则支持6.6–11.4，本文深读保留表格算术结果并标注这一差异，不把两者当成完全一致。

结构诱导的对照把FinanceBench的Qwen3-32B换成Haiku，RIT-RAG准确率最大变化只有1.4个百分点，而基线最多变化4.7个百分点。原因不一定只来自目录质量：所有方法都共享在节点内切分的chunk，所以不同目录还会改变chunk边界及检索结果。作者据此认为RIT-RAG对诱导结构更稳健，但该对照不是完全孤立的目录单变量实验。

节点数敏感性分析在WixQA模拟集200个问题及QASPER验证集819个问题上选择n：增加到50时准确率上升，再继续增加略有下降。WixQA在n=50时为88.0%，QASPER在25和50时均为88.5%，因此最终用50。这里88.0属于调参集，不能与主测试集的95.0混为一谈。作者没有给出“只删掉祖先节点”的干净消融，不能凭整体对照断言祖先贡献了多少百分点。

成本也有重要差异。Haiku下，WixQA的Agentic Search每问1.0美分、25秒，RIT-RAG为4.9美分、17秒；QASPER为4.1美分、55秒与5.7美分、15秒；FinanceBench为4.8美分、23秒与10.1美分、19秒。增加结构输入提高费用，但选择性阅读在这些测量中缩短了模型调用延迟。表8度量的是LLM延迟，不是含所有后端I/O的线上端到端SLA。RIT-RAG平均只读3.7–5.5个节点，平均GetToC调用约1.2–1.7次，也并非每个问题都耗尽10次预算。

5. 局限与未来方向

作者明确写出三个限制。首先，读取的节点不断累积，目前不支持证据压缩或聊天历史淘汰；因此特别长的任务会耗尽上下文。其次，系统保留层级关系，却忽略同层节点的交叉链接，这可能漏掉需要横向导航的关系。第三，必须有可用文档层级，标题弱或解析质量差会使Agent看到的地图质量降低。作者在结论提出压缩子树字符串表示以降低在线成本，并研究百万页语料上的更丰富节点元数据。

额外需要注意的未充分覆盖问题是UGC结构可靠性：短帖可能没有目录、同一评论线程包含多人立场，标题也可能与事实不一致。这是从业务场景出发的分析，不是作者报告的实验结果。主准确率由LLM判分，317个EntQABench问题是合成且仅覆盖三个产品，因此不能等价为人工满意度，也不能证明跨语言和社区时效性表现。

6. 工业实践意义

社区UGC搜索可先建立一个小规模试验：保留现有召回及排序底座，为帖子、楼层、评论或引用回复补充node_id与parent_id；初始召回展示帖子及回复结构，让Agent选择需要的正文。直接检索命中评论时附上原帖和父回复语境，可以减少断章取义。对于确实需要跨帖整合经验的query，再允许改写查询恢复搜索方向。单事实查询仍应按业务预算决定是否需要完整循环，本文数据没有证明所有query都值得增加结构输入。

实施顺序应从有天然层级的帖子和问答开始，而不是立即用LLM给所有短帖生成目录。EntDocs展示了只用标题也能运行的设计路径，但社区层级含义不同，需要重新验证。评测应固定检索器和模型，比较普通RAG、Agentic Search与结构导航，同时记录证据命中率、来源可核查性、nDCG、CTR和答案满意度；离线答案准确率提升不能直接替代线上点击收益。

资源规划需要分清离线与在线。论文按Haiku价格估计结构预处理WixQA为15.5美元、QASPER为12.9美元；FinanceBench细目录诱导为590美元，而已有breadcrumbs且只用标题的EntDocs不需要LLM预处理费用，这不意味着抓取、索引与存储免费。对于百万帖，应优先利用现成元数据并增量更新，避免全量抽图。在线应设置工具次数、读取字节数及token预算，记录目录冗余带来的费用；只要结构输出过大，优势可能被上下文成本抵消。论文没有线上A/B或生产CTR证据，因此可据此开展低风险离线试点，再用真实流量决定收益是否足够覆盖成本。

全文来源：https://arxiv.org/html/2610.11370v1 。正文与完整HTML已保存到本次报告的evidence目录，以上数字对应表1、表3、表8及附录K。