OpticalRAG: Pixel-Space Compression for Token-Efficient Retrieval-Augmented Generation
RAG 想省 token,常见做法是在文本上删词或做摘要,压得越狠,丢的细节越多。OpticalRAG 换了个方向:把文档渲染成页面图片,用冻结的视觉编码器编成视觉 token,检索和压缩都在这些视觉 token 上做。
今日场景今天的检索赛道主要在问一件事,检索回来的内容怎样交给模型才真正有用。DocFS 把长文档改造成文件系统,让 agent 自己列目录、搜索、读文件找证据。OpticalRAG 把文档渲染成图片,在视觉 token 上检索和压缩。另一组论文关心检索结果的边界。CLADE 发现段落只给出粗粒度的类别时,模型会放弃弃答开始猜。Elastic 的博客把权限检查放在交给大模型之前的固定一步。成本这一侧,FERN 不调用生成式大模型,也在部分基准上把 Text-to-SQL 的选表做到接近大模型方案,StaRSE 用只存正负号的静态向量换来 CPU 上极低的延迟。 — 评分 47 篇,入选 10 篇,分数 3.20 – 4.10
让 VLM agent 回答很长的图文混排文档,难点常常不在模型,而在文档怎么摆给它。DocFS 的做法很朴素:把文档改造成一个文件系统,章节变成嵌套目录,正文、图、表、公式各存成文件,再加上索引文件和记录图文对应关系的关联文件。agent 只用列目录、关键词搜索、读文件这几个现成操作,先定位候选证据,再顺着关联文件补全,最后回原始页面核对。
RAG 想省 token,常见做法是在文本上删词或做摘要,压得越狠,丢的细节越多。OpticalRAG 换了个方向:把文档渲染成页面图片,用冻结的视觉编码器编成视觉 token,检索和压缩都在这些视觉 token 上做。
Text-to-SQL 面对几百张表的大目录,第一步是把问题要用到的表找出来,现在流行让大模型读 schema 来挑。FERN 的检索链路里没有任何生成式大模型:三个现成的检索器各自召回,合并成候选池,每张候选表算一大批特征,再用只在 BIRD 训练集上训过一次的 LightGBM 排序。
检索要在 CPU 上算 embedding,或者语料要频繁重算时,Transformer 编码器的推理成本就成了瓶颈。StaRSE 是一个俄语静态句向量模型:每个 token 查表拿到一个固定向量,句子向量就是这些向量取平均,线上完全不跑 Transformer。表里每个 token 的方向只存每一维的正负号,另存一个长度值。训练的最后一步就让前向直接走这张只有正负号的表,而不是训完再量化。
RAG 检索回来的段落常常是对的,只是说得比问题粗。问题问一种药治的是哪种具体疾病(家族性高脂血症),段落里只写了它治高脂血症。作者发现,大模型读到这种只给疾病大类的段落时,弃答反而变少,开始在大类里猜。在 PrimeKG 的生物医学问题上,这类段落比既不提具体病名、也不提大类的段落让弃答少了 13.8 个点,多出来的回答大约一半是错的。调置信度阈值、换更大的模型、明确要求弃答,都压不住这个现象。用疾病本体把大类展开成候选清单,只要大类找对,清单里含正确答案的情况占 98.5%,真正的难点是从段落里找对那个大类。段落提到相关的大类,不等于它足以回答问题。
做回测时,如果检索用的编码器读过测试日期之后的文本,未来信息就会漏进结果。作者用财报电话会文本按年训练了一串编码器版本,每个版本只读截止年份之前的文本,再用会议里的分析师问答做对比微调。这个 33.8M 参数的小模型在每个测试季度上找答案都比测过的通用检索器强。关键在于,接着往后训练的版本回头检索早年的会议,效果比当时能用的版本更好。多训练同样多 token 但不读新文本的对照组没有这个提升,说明提升来自后来的文本。把它检索到的段落交给一个同样按时间截止的大模型回答,这份优势也会传过去,预测收益率时却几乎看不出差别。回测里的检索器也要按时间截止。
企业知识库的 RAG 一开始常用部门字段过滤权限,可一旦工程部要把一篇文档单独分享给销售部,或者某个高管要一个例外,这套过滤就撑不住了。Elastic 这篇博客把权限放进 SpiceDB 的关系图里:谁属于哪个部门、谁能看哪篇文档都记成一条关系,判断权限就是看图里有没有一条路径。Elasticsearch 只管按相关性召回,每个召回的文本块在交给大模型之前,都要去 SpiceDB 查一次当前用户能不能看。分享或撤销只是写入或删除一条关系,不用重建索引。权限检查要放在 agent 绕不开的固定节点里,因为模型可能被提示注入说服跳过检查。先召回再过滤会让留下的文本块变少,作者建议多召回几倍再筛。
做知识图谱问答时,除了把检索到的三元组写成文本,再附一张画好的子图图片,VLM 会不会答得更好?作者在六个 VLM 上做了逐题对照,加图平均让 F1 提高 1.85 个点。提升主要来自精确率,集中在结构简单的题上,复杂题几乎没有收益。图怎么画影响很大。在其中一个模型上,只给图不给文本,F1 掉了 9.42 个点;层次清楚的布局有用,换成杂乱的布局收益就小很多甚至没有,把大子图拆成一条条推理路径分开画效果最好。图片还要额外花 token,作者建议只给小而稀疏的子图配图,并且始终保留文本三元组。
给已经微调好的多模态模型加上弃答能力,常见的代价是把原本答对的题也改成了弃答,而净准确率会把这些损失藏起来。作者举的例子是 CLIP-UP EmbLoRA,净准确率几乎没变,背后却是丢了 62 道原本答对的题、又纠正了 41 道。ReFrain 用一个线性探针读第一个输出 token 的 logits,给出这道题能不能答的分数,再在另一批图片上把阈值定在不丢答对题的位置。分数低于阈值时,把输出换成题目本身就提供的弃答选项,其余输出一律不动。这样它一道答对的题都没丢,正确弃答率提高了 7.30 个点。评估弃答要逐条看丢了哪些对的答案,只看净准确率不够。
在印度传统典籍里检索证据,难在同一个名字有多种转写拼法、人名有歧义,关系还散落在好几段文字里。作者用大模型按本体抽取实体和关系,建成知识图谱,每条关系都连回原文段落,检索时沿图走有限几步再重排。在 Dhara Bench 的 320 道题上,每个系统拿到相同数量的候选。只用图谱时,前五条结果最准,多跳题上第一个相关结果也排得最靠前。把图谱和单向量检索等几路结果合并,找回的证据更全。代价是速度,图谱检索平均每题约 20 秒,单向量检索不到 1 秒。该用图谱还是合并结果,取决于更看重前排准确还是证据完整。