DoPR：把可复用的文档计算移到离线，降低 LLM 重排成本

论文：DoPR: Reusable Compressed Document Prefixes for Efficient LLM Reranking。作者机构：上海交通大学、字节跳动。本文依据[完整正文](https://arxiv.org/html/2609.03311)第 3–4 节、Limitations 和附录 A.2、A.6–A.9 撰写。基础评分 4.30，偏好调整后 4.40。以下实验数字属于作者报告；面向社区搜索的试验建议是本次解读的推论。

1. 问题与动机

在社区搜索的“召回—重排”链路中，一个热门帖子会被多个不同查询反复召回。常规 pointwise LLM 重排器每次都联合处理查询和完整文档，文档侧计算因此重复发生。把输入截短可以减少单次成本，但若每个查询仍要重新处理压缩后的内容，跨查询的重复计算依然存在。论文把优化目标进一步缩小到：能否预先形成与查询无关、又能进入 LLM 内部交互过程的文档状态。

这个问题与 ColBERT 等方法共享离线编码文档的动机，但 DoPR 的输出是重排器使用的多层前缀状态。在线阶段仍由 LLM 完成细粒度查询—文档相关性判断。论文同时比较了直接复用文档末尾 KV 状态等简化方案，用实验区分“预计算”本身和“为重排训练压缩表示”的贡献。

效率收益具有明确的条件。正文表 3 中，DL19 的文档预算为 256 token，压缩到 32 个前缀状态后的加速为 1.21–1.84 倍；Covid 的预算为 1024 token，压缩到 128 后为 2.85–8.04 倍。因此，用户主要搜索短帖时，应以短文档结果估算收益，再用自身语料测试。长文档设置的最高倍数不能直接代表社区搜索的整体时延改善。

2. 方法详解

文档表示选择。 文档先独立通过 LLM，得到每个 token 的末层隐藏状态及末层、跨注意力头平均的自注意力矩阵。对第 i 个 token，作者取指向该 token 的注意力列中最大的 p 个有效权重求平均，作为显著性分数。因果注意力下，有效项数量受 token 位置限制。按分数选出 K 个 token 的隐藏状态，形成压缩表示 C_d。这一选择过程无需额外训练一个选择器；压缩表示仍会接受后续排序损失的梯度。

训练时的信息通路。 模型组织文档、压缩表示、查询和评分 token，并采用结构化注意力掩码。原始文档独立编码，查询及评分 token 只能经由 C_d 获得文档信息。这个约束决定了方法能否在部署时成立：如果训练阶段允许查询直接读取完整原文，模型就可能依赖上线时不存在的通道，压缩表示也没有被迫承担排序所需的信息。

评分和损失。 评分 token 的隐藏状态经过一个轻量 MLP，输出每个查询—文档对的分数。训练采用 RankNet：同一查询配一个正例和一个负例，以二者分数差经过 sigmoid 表示正例排在负例之前的概率，再最小化负对数概率。等价地，损失是 log(1 + exp(负例分数 − 正例分数))。因此，每次前向给出独立相关性分数，学习目标却直接约束候选之间的顺序。

离线构建和在线复用。 部署前重新处理每个文档，选择 K_infer 个显著隐藏状态，再把这些表示作为前缀输入重排器，保存此次前向产生的多层 key/value 状态。在线只注入这些状态并输入查询与评分 token。这些前缀不是原文独立前向得到的 KV 缓存的简单切片，附录 A.7 专门比较了两种做法。训练预算 K_train 和推理预算 K_infer 可以不同，使部署时能调整质量与成本的平衡。

训练设置与复现边界。 实验覆盖 Qwen3-0.6B、4B 和 8B，使用 E2Rank 工作引入的训练数据，AdamW 学习率为 5×10⁻⁶，总 batch size 32，在 8 张 NVIDIA A100 上训练。默认 K_train=32，先进行 200 步不压缩的完整文档训练，再启用压缩瓶颈，推理采用 bf16。正文第 4.1 节和附录表 7 没有给出训练样本总量与总训练步数；复现时仍需核对作者公开代码和所引用的数据配置，不能从 warmup 步数推断总训练预算。

3. 核心技术贡献

第一，DoPR 把文档压缩和跨查询复用连接到同一个 LLM 重排框架。收益同时来自缩短在线文档状态和摊薄预计算成本。作者定义的总成本为：完整重排 r 次需要 r×T_full，DoPR 需要 T_off+r×T_online。这里 r 是同一文档被重排的次数。由该式可推得，当 T_full 大于 T_online 时，预计算回本要求 r 大于 T_off/(T_full−T_online)；这是部署推论，论文没有给出适用于所有系统的统一复用次数门槛。

第二，压缩表示受到排序监督和信息瓶颈的共同约束，目的在于保留区分候选所需的信息。附录 A.7 的同预算对照中，直接缓存最后 K 个原文 token 的 KV 状态，DL19/DL20 平均 nDCG@10 为 69.16；保留 DoPR 前缀构建流程、改用末尾 K 个隐藏状态后达到 70.77；显著性选择进一步达到 71.44。两次提升分别为 1.61 和 0.67 分，说明前缀构建方式与选择策略都影响结果。

第三，训练和部署预算解耦带来实际调参空间。默认用 32 个压缩位置训练，但推理可以依据文档长度选择前缀大小。作者在表 4 中也比较了不同训练预算：K 从 4 增到 32 时，DL19/DL20 平均从 64.38 升到 71.44；K=64 达到 72.48，接近完整重排器的 72.62。压缩比越高，信息损失风险越大，不能仅以资源节省决定预算。

4. 实验结果分析

下表取自主文表 1，nDCG@10 按论文的百分制展示。BEIR 均值对应表中八个 BEIR 数据集，DL19 和 DL20 单列，避免混淆平均范围。

较大的骨干模型总体更能承受压缩瓶颈，但每个数据集的变化不一致。例如 0.6B 在 Touche 从 41.18 降到 37.86，在 Robust 从 63.50 降到 59.56；这些退化明显大于总平均给人的印象。在 BRIGHT 上，三个规模的平均保留率分别为 98.6%、99.1%、98.8%，不随模型增大而单调改善。复杂证据是否分散在多个位置，会影响固定预算压缩后的检索表现。

效率方面，主文表 3 的 Covid 设置中，8B 完整重排从每对 150.708 毫秒降至 18.743 毫秒，得到 8.04 倍；DL19 则从 37.756 降至 20.547 毫秒，约 1.84 倍。文档侧状态占用按 8:1 压缩，但这不是整张 GPU 的显存减少八倍。附录 A.9 明确提示，大模型参数本身仍然占用更多显存。8B DoPR 与 0.6B 完整重排相比，DL19 质量更高，却由 17.61 毫秒变为 20.55 毫秒，不能笼统说“压缩的大模型一定更快”。

消融中，200 步不压缩 warmup 将 DL19/DL20 平均从 70.28 提高到 71.44；延长到 400、800 或 1600 步并无稳定额外收益。相同预算下，取文档前 K 个位置为 70.43，均匀选择为 70.95，随机选择为 70.55，注意力选择为 71.44。因此，先用简单选择器建立基线有价值，注意力选择的增益需要与其离线计算开销一起评估。

附录还给出更严格的迁移边界：扩展到十二个 BEIR 子集后，0.6B 的平均保留率为 96.46%，FiQA 仅为 86.78%。这说明预计算不依赖测试查询，并不意味着模型不受训练分布影响。另需留意表述范围：摘要及主文重点报告最高 8.04 倍，而附录表 9 在其他数据集设置中列出更高比值。报告将 8.04 倍明确限定于主文 Covid 对照，不把它解释为全文所有配置的绝对上限。

5. 局限与未来方向

作者在 Limitations 中强调两个条件。其一，文档需被多个查询重复访问，离线计算才容易摊薄；快速变化或低复用的语料会削弱这一部分收益。其二，预计算和前缀持久化增加离线索引与存储开销。对于帖子更新频繁、删除要求及时生效的社区，这些都是影响成本与正确性的部署问题。

论文已经分析了受控的跨查询复用，但 DL19 和 Covid 本身没有提供重复访问的真实工作负载，因此复用曲线来自额外构造的实验。它没有证明社区流量的命中分布、更新频率和网络读取成本会得到同样结果，也没有提供线上 CTR 或用户满意度 A/B 数据。

本次解读进一步建议测试分层前缀预算与热度分层缓存：长文档或证据分散的帖子保留更多状态，短帖使用较少状态；低复用且高频更新的内容可以保留完整重排路径。上述方案是基于作者成本模型提出的后续方向，尚未被该论文验证。

6. 工业实践意义

对于以 nDCG 和 CTR 为主要指标的 UGC 搜索，适合先选择一个有稳定重复访问、更新较慢的帖子子集，进行同候选集的离线重排对照。比较完整 LLM、DoPR、直接缓存原文末尾 KV 和简单前缀选择，才能看清收益究竟来自模型、训练方式还是复用机制。评测需按帖子长度、长尾意图、实体和数字精确匹配进行分层，特别关注压缩是否遗漏决定相关性的细节。

工程上要分别计量模型参数显存、在线文档状态、持久化前缀容量、预处理耗时以及状态读取时延。模型版本、文档版本和前缀配置也应保持一致；当帖子被编辑或索引模型变更时，需要对应更新前缀。论文在线时延是在前缀已预计算的前提下报告的，真实端到端评测必须纳入前缀获取与缓存未命中的处理。

一个可执行的试验顺序是：先复现 0.6B、K_train=32 的质量和资源基线，再根据短帖测试选择 K_infer，随后采样真实检索日志测量文档复用次数与更新率，用作者的摊销公式估计是否回本。若离线 nDCG 损失可接受，再小流量评估 CTR、首条相关性和尾延迟。当前论文支持的是减少重排重复计算的可行性；社区搜索是否因此获得点击收益，还需要自身线上实验回答。