GovScape: A Public Multimodal Search System for 70 Million Pages of Government PDFs
GovScape 是一个面向 2020 End of Term Web Archive 中 1000 万份美国联邦政府 PDF(共 7095 万页)的公开多模态搜索系统,支持过滤、关键词、文本相似度、视觉相似度四种检索方式。系统整合了基于 PDF 渲染的视觉 embedding 与基于 OCR 文本的稀疏召回,并把页级与文档级索引合并以兼顾粒度与召回。论文报告了系统架构、索引规模和真实查询案例研究。
INSIGHT对工业搜索的启示:当文档语料具有强多模态属性(图片、表格、版式),把视觉 embedding 与文本召回融合,比纯 OCR + BM25 更能覆盖长尾查询;论文用 1000 万 PDF 量级证明了页级与文档级双索引可工程化部署。对 UGC 搜索可借鉴:把帖子配图、视频封面、富文本布局加入多模态召回链路,能有效提升对'看图找帖子'式短文本 query 的召回。