Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation
中科院计算所 Jiafeng Guo 组研究 dense retrieval“一个 query 向量对一个文档向量”接口在长文档上的失效:决定性的短 span 在文档编码时被过早压缩稀释。提出 Evidence Dilution Index (EDI) 量化文档级表示比同文档最强 chunk 级证据弱多少,并给出训练-free 的 DICE:把文档切 chunk、用冻结模型各自编码、再聚合回单一向量,保持标准单向量接口。在 LongEmbed 上跨 4 个 backbone 提升明显,>4k token 切片增益最大——Dream 上 Passkey>4k 从 30.0 升到 90.0、Needle>4k 从 23.3 升到 74.0。
INSIGHT核心洞察是 dense retrieval 的瓶颈不在召回阶段而在文档侧的“早压缩”。DICE 不改模型、不重训,只在 index 侧做 chunk 编码加聚合就能救回被稀释的关键证据,落地成本极低,适合已有 embedding 召回、想提升长帖/长问答召回的团队。EDI 这个诊断指标也可拿来定位自家文档侧是否在丢证据。