Inference-Free Multimodal Learned Sparse Retrieval for Production-Scale Visual Document Search
面向 arXiv/企业 PDF 等视觉文档的生产级检索,论文提出 V-SPLADE——一种推理无关 (inference-free) 的多模态学习稀疏检索器:服务时不对 query 做神经编码,直接用倒排索引检索视觉文档。核心是 caption-gated token supervision,仅训练期用 VLM 生成的 caption 作词法线索激活检索相关的词表维度,解决视觉稀疏表示的 lexical grounding 问题。六个视觉文档检索基准上 NDCG@5 平均 +13.8pp(对同规模 dense 基线),较 OCR/caption-BM25 最高 +6.3pp;在 1870 万文档语料上 R@5 翻倍以上,score fusion 还能给现有检索器叠加 +2.4pp R@5。
INSIGHT训练期用 caption 监督、服务期纯稀疏倒排的设计,直接绕开了 dense 检索在大规模下的 query 编码延迟与成本。对社区/文档搜索基建有参考价值:SPLADE 系学习稀疏检索可继承 BM25 倒排工程栈,又拿到接近 dense 的效果,且能通过 score fusion 给现有召回器做增量增强。