MultiDocFusion: Hierarchical and Multimodal Chunking Pipeline for Enhanced RAG on Long Industrial Documents
MultiDocFusion 提出了一种面向长文档的多模态分块管线,集成视觉文档解析、OCR 文本提取、LLM 层级结构重建和 DFS 分组四个阶段,将文档内容组织为层级结构化 chunk。在工业基准测试中,该方法将检索精度提升 8-15%,ANLS QA 分数提升 2-3%,证明了显式利用文档层级结构对检索质量的关键作用。
INSIGHT该工作的核心启示在于:文档切块策略是检索质量的关键瓶颈之一。传统扁平化分块方式忽略了文档的内在结构和语义层次,导致信息丢失和检索噪声。对 UGC 搜索而言,虽然短文本结构较简单,但帖子中的标题-正文-评论层级、引用关系等结构信息同样值得利用。该管线中 LLM 驱动的层级解析思路可迁移到 UGC 内容的结构化索引中。