OpticalRAG: Pixel-Space Compression for Token-Efficient Retrieval-Augmented Generation

Senhao Liu, Yuheng Zhang, Chunyu Wei, Yueguo Chen, Xinran Zhang · arXiv 2611.13675 · 发表 2026-11-11
15 分钟阅读时长 5620字 4.10综合分 第 2 名11-12 AI Search 日报
目录 · 7 节1一篇年报怎样变成 16 个前缀 token2用文字问题检索图片 token,靠一个跟压缩器一起训练的投影3256 个压成 16 个,问题要同时加在两边4主结果:LongBench-v2 原始分领先,BAMBOO 落后5CAP 的乘数:16 个 token 换来约 1.39 倍6两组消融:16 是峰值,按问题压缩比不看问题的替代方案分数高7这套方案适用到哪里
相关 4新颖 4实用 4证据 4时效 5

OpticalRAG 把长文档排成图片,最后只给冻结的 7B 模型看 16 个 token,在 LongBench-v2 上答得比读几千个文本 token 的方法还好;但它在三个基准上都拿第一的那个综合分,很大一部分来自「只用 16 个 token」本身。

先看它要解决的场景。设想一份 10 万字符的英文年报(示意),用户问一道四选一的题:「报告里哪一年的研发支出首次超过营收的 15%?」RAG 系统要从这份年报里找出相关内容,塞进模型的上下文,再让模型选 A/B/C/D。整份年报直接塞进去太贵,所以总要先压缩。

难点在于压缩比和细节互相拉扯。这道题的答案可能只靠年报中段一句「研发支出占营收 15.3%」(示意)和一处年份。压到几千 token 时,这句话大概率还在;压到几十个 token 时,模型能看到的东西少到很难保住一个具体数字和它对应的年份。

现有做法大致两类,放回年报的例子里看都会出问题。第一类在文本上删或改写:LLMLingua-2、Selective Context 删掉它们判断为不重要的 token,RECOMP(一种先检索再写摘要的压缩方法)把检索到的段落改写成摘要。压得狠了,「15.3%」这一句可能被删掉或在摘要里被概括成「研发投入持续增长」,删掉的 token 后面没有任何步骤能找回来。第二类是 xRAG,它把整篇文档编码成一个向量注入模型,年份、比例、上下文全挤在这一个向量里,模型很难再从里面读出「哪一年」。

作者的出发点是一个观察:一页排好版的文字图片,交给现代视觉编码器,几百个文本 token 的内容可以压成大约一百个视觉 token,语义大部分还在。于是他们把压缩挪到像素空间:先把文档排成页面图片,再在视觉 token 上做检索和压缩。

一篇年报怎样变成 16 个前缀 token

论文把方法分成编码、检索、蒸馏三段,加上首尾的排版和作答一共五步,下面这张步骤表沿用年报的例子。视觉编码器和语言模型全程冻结,只有压缩器和最后的桥接 MLP 会训练。

步骤输入操作产出(年报示意)训练吗
排版10 万字符原文按顺序切成不超过 24,000 字符的块,每块排成若干张 640×640 的页面图片5 块,每块约 12 页,共 60 页否
编码60 张页面图冻结的 DeepEncoder(DeepSeek-OCR 里 SAM 加 CLIP 的视觉编码器)每页输出 100 个 1024 维视觉 token6,000 个视觉 token,逐个存进这份文档的内积索引否,离线完成
检索问题、选项和指令问题过冻结 LLM 取最后一层隐状态,经线性投影 W_q 进视觉空间,max-pool 成一个查询向量,按内积取前 256 个256 个视觉 token,按原文位置排序W_q 训练
蒸馏256 个视觉 token 加查询向量先排成 16×16 网格、经 depthwise 卷积降到 64 个,16 个可学习的「压缩槽」再用交叉注意力从这 64 个里读信息,经 MLP 投到 LLM 输入空间16 个 3584 维的软前缀训练
作答16 个前缀加问题文本前缀接在问题的文本 embedding 前面,冻结的 Qwen2.5-7B 对 A/B/C/D 打分一个选项否

所以模型最终看到的文档内容只有 16 个位置。问题、选项和指令照常作为文本输入(截断到 1,024 token),这部分不算进 16 个 token 的预算。

OpticalRAG 三阶段框架:长文档切块、排版成页面图片,由冻结的 VLM 编码器编成视觉 token 并建索引;用户问题经 W_q 投影后与索引按相似度取 Top-K;多头交叉注意力把检索到的 token 压成少量 token,交给冻结的 LLM
OpticalRAG 三阶段框架:长文档切块、排版成页面图片,由冻结的 VLM 编码器编成视觉 token 并建索引;用户问题经 W_q 投影后与索引按相似度取 Top-K;多头交叉注意力把检索到的 token 压成少量 token,交给冻结的 LLM

用文字问题检索图片 token,靠一个跟压缩器一起训练的投影

第一个麻烦是模态对不上。年报变成了 6,000 个视觉 token,问题却是一段文字。作者强调自己不做对比训练,也不做端到端的跨模态对齐训练,他们认为这类训练代价高。

OpticalRAG 没做对比训练。问题先过冻结的 Qwen2.5-7B,取最后一层每个位置的隐状态,用一个线性投影 W_q 把它们映到视觉 token 所在的空间。为了得到单个查询向量,再在所有位置上取最大值。这个向量和 6,000 个视觉 token 逐个算内积,取最高的 256 个。

W_q 没有自己的检索损失,它属于压缩器,跟后面的蒸馏一起训练。也就是说,W_q 被训练成「投出来的向量对压缩有用」,检索时顺手拿来打分。

这一步的中间产物长这样(示意):一个 1024 维查询向量,加一张 256 行的列表,每行是一个视觉 token 和它在原文里的位置,比如第 3 页第 41 号、第 17 页第 8 号、第 18 页第 62 号……列表按位置排好再交给下一步。年报里写着「15.3%」的那一页,如果检索有效,应该贡献好几个 token。

这里有一个直接影响结论的边界:256 这个数是怎么定的。作者在附录里写明,K=256 是参考评测基准的反馈选的,不能看作独立于评测基准选定的超参。

256 个压成 16 个,问题要同时加在两边

为什么不把 256 个视觉 token 直接接到模型前面?因为这篇论文追求的是极小的上下文预算。而且视觉 token 本来不在 LLM 的输入空间里,总要有一层把它们翻译过去。作者让翻译和压缩一起做。

压缩先做一步下采样。按位置排好的 256 个检索 token 被重排成 16×16 的网格,经过一个步长为 2 的 depthwise 卷积,降成 64 个 token。这个网格只是把检索结果按顺序摆成方阵,相邻的格子在原页面上不一定相邻。

接着是 Q-Former 式的交叉注意力。模型里有 16 个可学习的向量,可以把它们理解成 16 个「压缩槽」。每个槽通过两层交叉注意力,在这 64 个下采样后的 token 上分配注意力权重,按权重把内容读进来。读完之后,这些槽经一个两层 MLP 投到 LLM 的输入维度,所以能直接作为接在问题前面的软前缀。

查询向量在这里用了两次:加到每个视觉 token 上,也加到每个压缩槽的初始值上。只加在 token 一侧不够,原因可以心算(示意)。某个槽对两个 token 的打分原本是 3 和 1,给两个 token 都加上同一个查询向量后,两个分数会被抬高同一个量,比如都加 2,变成 5 和 3。softmax 只看分数之差,这个槽的注意力分配完全没变。槽本身也带上查询向量以后,不同问题才会让同一个槽去看不同的 token。作者在附录 A.4 讨论的就是这一点。

Hoot 说问题加在哪一边,读取比例才会变收起 ✕
同样两个 token:只给 token 加问题,两个分数一起抬高,读取比例不变;压缩槽也带上问题,两个分数各涨各的,比例才会跟着问题变。

只给 token 加问题(示意)

槽对 token A 的分
3 → 5
槽对 token B 的分
1 → 3
分差 A − B
2 → 2
读取比例 A : B
88% : 12%,不变

两个分数都加同一个数,softmax 把它抵消了

压缩槽也带上问题(示意)

槽对 token A 的分
3 → 4
槽对 token B 的分
1 → 5
分差 A − B
2 → −1
读取比例 A : B
27% : 73%,翻转

槽变了,它对两个 token 的加分不同,换个问题就换一个 token 读

示意数字:一个压缩槽、两个视觉 token,读取比例按这两个分数做 softmax。给每个 token 加同一个问题向量,经过线性的键投影后,这个槽对所有 token 的分数都加上同一个数,softmax 只看分差,所以比例不动。槽自己带上问题向量后,它和每个 token 的点积各自变化,分差才会随问题改变。这些都在视觉空间里完成,读完后才由单独的桥接 MLP 投到 LLM 输入空间,两个模块只是一起训练。作者的定理也建立在这一步上:假设每条所需证据都有一个明显胜出的最佳 token、答案只依赖这些 token 的少数几个方向,那么槽数不少于方向数就能近似无损。

出处论文 §4.3(查询向量加到 token 和压缩槽上、桥接 MLP);附录 A.4(只加在 token 上会让一个槽的所有打分平移同一个常数,softmax 权重不变);§5 定理的假设

回到年报的例子:网格里每 2×2 个检索 token 合成一个,所以下采样后剩 64 个;16 个槽从中读取,平均一个槽对应 4 个。但注意力不必平均分,理想情况是某个槽把大部分权重放在「15.3%」所在的那几个 token 上,另一个槽盯住年份。

压缩器和桥接 MLP 的训练分两个阶段。第一阶段在 Wikipedia 和 C4 上做重建:把一段文字排版编码、压成前缀,让冻结的 LLM 从前缀把原文逐字还原。第二阶段在 SQuAD v2、DROP(需要数值推理的阅读理解集)、CoQA 这几个阅读理解数据集上只对答案算损失,按开发集早停。

为什么 16 个槽就够?作者给了一个定理:在若干假设下,槽的数量只要不少于「答案分布依赖的独立因素个数」,压缩可以任意接近无损,和检索到多少 token 无关。「多选题通常只依赖少数几个因素」是作者用来解释 16 够用的说法,不是一个测出来的数。

主结果:LongBench-v2 原始分领先,BAMBOO 落后

评测只用多选题:LongBench-v2 全部 503 题,以及 BAMBOO(一个长文本理解基准)和 LooGLE-v2(另一个长文档理解基准)的选择题子集。所有方法共用 Qwen2.5-7B-Instruct 做骨干,按下一个 token 在 A/B/C/D 上的打分作答,随机猜大约 25%。

对照组有五个。闭卷骨干不给文档,只靠模型自身知识答题。标准 RAG 检索文本块直接塞进上下文。Selective Context、LLMLingua-2、RECOMP 是前面说的文本压缩,xRAG 是单向量注入。下表的长度列是每题塞进模型的文档 token 数,CAP 是作者定义的综合分,下一节专门拆它。

方法LongBench-v2 分数 / 长度 / CAPBAMBOO 分数 / CAPLooGLE-v2 分数 / CAP
闭卷骨干30.62 / 0 / 30.6256.75 / 56.7520.76 / 20.76
标准 RAG31.41 / 1623 / 34.7169.50 / 79.5023.24 / 25.69
Selective Context32.40 / 5512 / 33.6970.00 / 74.8522.49 / 23.44
LLMLingua-228.23 / 2669 / 28.2373.50 / 81.1222.79 / 24.39
xRAG26.24 / 1 / 26.2451.00 / 51.0021.06 / 32.54
RECOMP32.01 / 6954 / 32.9075.50 / 81.8022.56 / 23.18
OpticalRAG35.79 / 16 / 49.6861.00 / 84.6723.54 / 32.67

LongBench-v2 上,OpticalRAG 用 16 个 token 拿到 35.79,比闭卷骨干高 5.17 点,比最好的文本基线 Selective Context 的 32.40 高 3.4 点,后者用了约 5,500 个 token。这说明在这个基准上,它只用 16 个前缀位置就拿到了比文本方法更高的原始分。

BAMBOO 上情况反过来。OpticalRAG 的 61.00 比标准 RAG 的 69.50 低 8.5 点,比 RECOMP 的 75.50 低 14.5 点。作者也承认 RECOMP 和 LLMLingua-2 原始分更高,靠的是保留几百到几千个文本 token。这说明在 BAMBOO 上,16 个前缀丢掉的信息足以让准确率明显落后。

LooGLE-v2 上,OpticalRAG 的 23.54 只比标准 RAG 的 23.24 高 0.30,所有方法都挤在闭卷 20.76 上方两三个点的范围里。这说明这个基准上原始分几乎拉不开差距,排名主要由 CAP 决定。

CAP 的乘数:16 个 token 换来约 1.39 倍

那么 BAMBOO 上原始分低了 14.5 点,CAP 为什么还是第一?要看 CAP 怎么算。作者把闭卷骨干的预算记作 B0 = 12k,也就是 Qwen2.5-7B-Instruct 用的截断长度,再给每个方法一个压缩乘数:

其他方法的 B 只数文档上下文 token,不含问题和选项。闭卷骨干按 B0 计,乘数是 1,所以它的 CAP 就等于原始分;表里闭卷行长度写 0,只表示不给文档,不是拿 B=0 去算乘数。分数不低于闭卷骨干时,CAP 等于分数乘以 m(B);低于闭卷骨干,CAP 就等于分数本身,不给压缩加成。

因为指数 0.05 很小,乘数增长很慢:压缩 10 倍约乘 1.12,压缩 100 倍约乘 1.26。16 个 token 相当于压缩七百多倍,所以乘数约 1.39。

现在算 BAMBOO。RECOMP 用约 2,400 个 token,乘数约 1.08,CAP 约 81.8。OpticalRAG 是 61.00 乘 1.39,约 84.7,正好对上表里的 84.67。这说明 14.5 点的原始分差,被乘数上的差距反超了。

OpticalRAG 在 BAMBOO 和 LooGLE-v2 上的 CAP 第一,主要来自 16 个 token 带来的约 1.39 倍乘数,不是来自答对更多题。

同样的逻辑在 xRAG 身上更明显。xRAG 只用 1 个 token,乘数约 1.55;它在 LooGLE-v2 上的 21.06 刚好高过闭卷的 20.76,于是 CAP 跳到 32.54,几乎追平 OpticalRAG。作者自己也指出,xRAG 这个 CAP 只是乘数撑起来的。这条批评同样适用于 OpticalRAG 在 LooGLE-v2 上的 32.67。三个基准的平均 CAP,OpticalRAG 是 55.67,次好的标准 RAG 是 46.63,这个差距也要按同样的方式拆开看。

LongBench-v2 和 LooGLE-v2 上,OpticalRAG 原始分和 CAP 都领先,只是 LooGLE-v2 的原始分只领先 0.30 点;BAMBOO 上它只有 CAP 领先。LongBench-v2 也是 K=256 参考过反馈的那个基准。

两组消融:16 是峰值,按问题压缩比不看问题的替代方案分数高

第一组改压缩槽数量,从 1 到 64。1 到 16 大体上升,16 最好;32 掉得很明显,64 部分回升,并且在长样本上最好。作者的解读是槽数要在证据覆盖和噪声之间取平衡。这说明槽数不是越多越好,16 是这条曲线上实测的峰值。

LongBench-v2 上注入 token 数的消融:横轴为 1 到 64 个注入 token,16 个时总分最高(约 35.8),32 个时跌到约 30,64 个时回升到约 34.2
LongBench-v2 上注入 token 数的消融:横轴为 1 到 64 个注入 token,16 个时总分最高(约 35.8),32 个时跌到约 30,64 个时回升到约 34.2

第二组固定预算,比较按问题压缩和两种不看问题的压缩:一种把检索到的 token 平均池化,一种用随机投影。LongBench-v2 上三者分别是 35.57、32.16、31.67。也就是说,按问题压缩比两种不看问题的替代压缩分别高约 3.4 和 3.9 点。但这两个对照同时换掉了交叉注意力的压缩结构,所以这组数字不能单独证明「把问题加到压缩槽上」这一步的作用。

LongBench-v2 上查询驱动压缩与平均池化、随机投影两种不看问题的压缩对比,按 Easy、Hard、Short、Medium、Long 和平均分六组;平均分 35.57、32.16、31.67,Long 一组平均池化 33.33 高于查询驱动的 31.48
LongBench-v2 上查询驱动压缩与平均池化、随机投影两种不看问题的压缩对比,按 Easy、Hard、Short、Medium、Long 和平均分六组;平均分 35.57、32.16、31.67,Long 一组平均池化 33.33 高于查询驱动的 31.48

这套方案适用到哪里

回到年报的例子。如果问题改成「过去五年研发占比的变化趋势是什么」,答案要从五个相隔很远的年份里各取一个数字。作者在局限里写到,固定前缀预算可能不适合需要多个远距离片段证据的问题,这正是这类题。

还有几处会影响怎么读结果。16 个 token 只计视觉前缀,问题、选项和指令还要另外输入。长度列也不包括离线排版、编码和建索引的计算。评测只有多选题和一个 7B 骨干,开放式生成留给了以后。

这篇论文证明了一件具体的事:冻结的 OCR 视觉编码器加一个小压缩器,能把长文档压成 16 个前缀,而且在 LongBench-v2 上原始分领先。至于「三个基准 CAP 全第一」,读的时候要把 1.39 倍乘数先除掉。

读完这篇,你觉得

点一下即可,无需登录;再点一次撤回。只统计匿名次数,不记录你是谁。

相关论文RELATED

  1. Retrieval · 2026-11-16CURATOR: Scalable Fine-grained Evidence Selection for Retrieval-Augmented Generation using Decision ModelsRAG 通常把检索到的整段文字都塞给大模型,可真正能回答问题的往往只有其中几句。挑出这几句并不容易:一句话单看像是无关,要结合其他检索内容才知道该不该留。逐句带着全部上下文判断又太贵。决策模型能在一次推理里同时给很多候选句打分,每个判断都看得到周围的句子,但作者发现,同时要做的判断越多,它分辨有用证据的能力越差,而一次检索常常就带来几百个候选句。CURATOR 专门训练决策模型从大候选池里挑出数量不定的支撑句,保住一次打分的效率。在 128 个 token 的上下文预算下,它在没见过的数据集和领域上平均把证据召回提高 17.0%,下游回答质量提高 17.4%。上下文越紧,挑对证据比塞进更多段落更要紧。
  2. Retrieval · 2026-11-13PCG-RAG: Progressive Compositional Grounding for Retrieval-Augmented Generation in Complex Web Question Answering复杂网页问答常常要先从几条线索里认出说的是谁,再去查它的某个属性,而常见的错法是只对上一条线索就把名字当成定论。论文里的例子是一座改建成美术馆的伦敦发电厂,系统只凭伦敦和发电厂就认定是 Battersea,接着查到的建筑师其实属于另一座楼。PCG-RAG 把这种只对上部分线索的名字当作搜索线索,用它去补查还没对上的条件,确认之后才让后续问题依赖它。最后生成答案时,它把确认身份的段落和回答属性的段落一起放进上下文。在 BrowseComp-Plus 上,它的准确率比最强基线高 5.43 个百分点,token 用量还少了 82.98%。先认准对象再查属性,比一次堆更多检索结果更有效。
  3. Retrieval · 2026-11-11Lightfoot: Graph Retrieval-Augmented Generation with Exact, Model-Free Document DeletionGraphRAG 上线后有两笔账论文很少算:建图花多少钱,删文档有多麻烦。合同到期或用户要求删除时,要把一篇文档和由它派生的内容都清掉,可混了多篇文档内容的实体摘要很难拆干净。Lightfoot 规定图里每条记录都只由单段的抽取结果算出来,每段只调一次模型,检索不调模型,删文档就是数据库操作,建图成本在三个数据集上也都最低。在 MuSiQue 全量语料上删掉 10% 的文档后,图和只用剩余文档重建的结果完全相同,LightRAG 删同样的文档要调 2187 次模型、跑 3.7 小时。代价是准确率和 HippoRAG 2 互有胜负,在 2WikiMultiHopQA 上明显落后。能精确删除,靠的是没有任何记录来自读过多段内容的模型调用,有合规删除需求的团队可以照这条约束设计索引。
  4. Retrieval · 2026-11-05From Logs to Faults: Reference-Free Fault Localization for Retrieval-Augmented Generation PipelinesRAGLog 只读 RAG 流水线每次运行留下的调用日志,不需要标准答案,也不用改代码,就能指出这次运行是哪个环节出了错。这件事有用,是因为中间出了错,最终答案却可能是对的。在五条开源流水线的自然运行里,37% 至少有一个环节出错,其中超过三分之一照样答对了,只看答案发现不了。它逐个环节检查:改写后的查询有没有丢掉原问题里的人名、数字和日期,检索回来的段落里有没有一段真正含有答案,重排有没有把含答案的那段挤出去,答案在给定材料里有没有依据。每个环节再由各自训练好的分类器判断是否出错。在自然发生的故障上,它定位出错环节的 F1 是 0.73,Claude Code 是 0.58。排查 RAG 故障时,日志本身就够做第一轮筛查。
  5. Retrieval · 2026-11-02Retrieving from Your Own Mistakes: On-Policy Training of Embedding Models for Multi-Hop Retrieval-Augmented Generation多跳检索里的链式 embedding 检索器,训练和上线时看到的历史不一致,这篇论文给出一个不加大模型调用的修法。这类检索器每一步把问题和已找到的段落拼在一起再找下一段,训练时历史全是正确段落,上线后却常混进它自己找错的段落。在四跳的 MuSiQue 问题上,到第三步已有 70% 的检索状态带了错段。作者每轮训练都让当前模型自己跑一遍,拿它真实走到的状态来训练,目标设为还没找到的最早那段正确段落。同样配方下,前五段里把证据找全的问题比例从 44.6% 提到 50.5%。
  6. Retrieval · 2026-10-29Tessera: Structure-Completed Evidence Units for Web Retrieval-Augmented Generation问维基百科《欢乐糖果屋》的制片人是谁,答案就在页面信息框的制片一行,可文本抽取把这一格里的两个名字弄丢了,读者模型只看到导演,于是答错。这篇论文在整个英文维基百科上把答案证据从网页源码一路追到读者输入,发现这种丢失很普遍:7.6% 的问题证据根本没完整进索引,其中 81% 是表格单元格、表头或图注。Tessera 检索照旧,只在读之前把排名靠前的网页重新拆成一行表格、一个列表项这样的小单元,补上标题、章节和表头,再挑相关的装进同样的 token 预算。文本和截图两类流水线的答对率都提高 5 到 6 个点。
  7. Retrieval · 2026-11-04DR Pixel: Page-Native Deep Research with Vision-Language Models让模型查论文时直接看页面截图,而不是先把 PDF 转成文字再搜,问答准确率会更高,检索次数还更少。DR Pixel 把约 106 万张论文页面渲染成图,每张图编码成一个向量。智能体用文字发起搜索,拿回最相关的几张页面图,并在整个推理过程中一直看着这些原图,表格和曲线不会因为转文字而走样。不做任何训练,只是换成看页面,闭源和开源的三个模型都比转成文字再另加一个搜图工具的方式准确率高 5 个点以上,检索调用少 20% 到 30%。

讨论

欢迎补充实验细节、复现经验或不同看法。需 GitHub 登录。

正在加载讨论…