Query Expansion Is More Than Generation: Improving Dense Retrieval through Better Integration

1. 问题与动机

论文研究一个经常被生成质量掩盖的问题：LLM 已经能零样本生成 HyDE 假想文档、Query2Doc 伪文档、Q2E 关键词或思维链提炼词，但把这些文本交给冻结的稠密检索器后，效果并不稳定。作者固定生成结果，只改变集成方式，发现传统方案在 TREC-DL 2020、LoTTE Search、LoTTE Forum 与 BEIR-14 上分别比无扩展稠密检索低 2.92～4.53 个点；即使对文本拼接方式在 6,980 条 MS MARCO 开发查询上搜索 72 种组合，仍在 16/20 个“扩展策略×基准组”中落后于原始查询。根因是扩展单独检索会丢掉原查询，直接拼接则让查询和扩展在分词、注意力、池化与截断中纠缠，系统无法明确限制生成内容把查询向量拉离原意图的程度。

这一问题对短查询尤为重要：用户只给出几个词时，扩展既可能补足同义词和答案维度，也可能引入未经表达的具体事实。既有工作主要竞争“生成什么”和“采样多少次”，却把生成与融合同时改变，无法判断收益到底来自更好的扩展还是更合适的接入方式。本文因此把集成方法单独作为实验变量，并追问：能否在不训练、不改文档向量、不重建索引的前提下，让扩展贡献显式可控，同时保持一次标准向量检索请求。

2. 方法详解

AnchorQE 先分别编码并归一化原查询 q 与 N 个扩展 z_i。若 q 向量为 q，扩展向量为 z_i，各扩展的混合权重 π_i 非负且和为 1，则先计算扩展混合向量 m=Σπ_iz_i，再构造最终查询向量：

q_hat = normalize((1-α) q + α m)，其中 0≤α≤1。

α=0 时完全退回原检索器；α 增大时才逐步信任生成扩展。由于融合发生在归一化向量层，扩展长度不会隐式决定权重；多个扩展彼此分歧时，混合向量的模会自然变小，修正作用随之减弱。作者证明，在查询流与扩展流使用同一文档向量空间和原始点积时，该单向量排序与权重为 (1-α, απ_1,…,απ_N) 的 CombSUM 全语料排序完全等价，但只需一次索引请求，而传统融合需要 N+1 次请求。另一个角度上，当 α<0.5，最终向量偏离原查询的夹角最多为 arcsin(α/(1-α))；α=0.10 时上限仅 6.38°。若扩展与原查询对一对文档给出相反顺序，扩展侧的反向 margin 必须超过原查询 margin 的 9 倍才会在 α=0.10 时翻转排序。

SC-AnchorQE 进一步解决新数据流上没有相关性标签、无法手调 α 的问题。它只使用流开头 B 条无标注查询，实验设置 B=8。对每条校准查询，分别用原查询与扩展做探测检索：一方面比较两者各自 top-1 文档的正截断相似度均值，得到扩展相对检索强度 r_top1；另一方面，在原查询 top-10 文档上比较扩展与原查询的平均相似度，得到证据一致性 r_sup。最终令 α_stream=r_top1×r_sup。乘积是合取门：扩展只有同时“自己检得强”且“同原查询证据一致”时才获较高信任。校准阶段每条查询需要两次探测请求，α 冻结后所有未来查询恢复为一次请求。

实验的主生成器是关闭 thinking、贪心解码、最多生成 128 个 token 的 Qwen3-8B；迁移实验还用 Qwen3-1.7B 与 Llama-3.1-8B-Instruct。检索器包括 BGE-large-en-v1.5、GTE-large-en-v1.5 和 Qwen3-Embedding-0.6B，形成 3×3 共 9 个生成器—检索器组合。所有文档 embedding 和索引保持冻结。数据覆盖 TREC-DL 2019/2020、LoTTE 的 Search/Forum 五域以及 BEIR-14，共 18 个逻辑集合；TREC/BEIR 用 nDCG@10，LoTTE 用 Success@5。论文未进行梯度训练，因此没有优化器、batch size、训练步数或训练硬件配置；核心计算只有 LLM 离线/在线生成、向量编码和校准探测。

3. 核心技术贡献

第一，论文用固定扩展协议把“生成质量”和“接入方式”解耦。四类 LLM 扩展文本保存一次并在所有融合方法间复用，证明仅替换集成方式就能把主导结论从退化变为提升：固定 α=0.15 的 AnchorQE 在全部 20 个比较中超过无扩展基线及传统接法，相对传统接法最高提升 12.89%。这比再换一个生成 prompt 更有诊断价值。

第二，AnchorQE 把显式信任控制、查询锚定与单请求服务统一起来。线性插值不是简单启发式：论文给出与同空间加权分数融合的排序等价证明，以及扩展影响的最坏夹角界。这让工程团队能把 α 解释为风险旋钮，并在不改文档侧索引的情况下上线。

第三，SC-AnchorQE 只用 8 条无标注流前缀估计 α，无需开发集标签或观察未来效果。它将“扩展独立检索能力”和“与原查询证据一致性”相乘，避免只看高相似度而信任一个语义漂移的扩展。相对开发集调好的固定 α，在线估计在 17/20 个组均值上仍为正。

第四，作者从服务成本验证理论优势。8 个扩展时，AnchorQE 的 nDCG@10 为 0.6591、Success@5 为 0.7705，索引侧延迟 0.19 ms/查询；九请求 Weighted CombSUM 为 0.6612/0.7705，却需 4.33 ms。两者 top-10 重合率达 0.9998，说明单向量方案用约二十分之一的索引延迟复现了线性融合排序。

4. 实验结果分析

主结果显示，传统接法并不稳健，而查询锚点的收益横跨扩展类型。以下摘录固定扩展、BGE 检索器下的关键结果：

SC-AnchorQE 的无标注在线版本在全部 20 个“策略×基准组”中超过对应传统接法，最大相对增益是 CoT 词项在 BEIR-14 上的 13.03%。相对无扩展 DR，它在 19/20 个组比较中提升，18/20 的查询级置信区间为正；按 18 个集合等权汇总时，四种扩展策略的置信区间均排除零。统计检验规模也较充分：每个物理集合做 10,000 次成对 bootstrap，集合级做 100,000 次 cluster bootstrap，并用 20 种随机到达顺序检查前缀稳定性。

跨模型结果中，9 个生成器—检索器组合、5 个报告组共 45 个比较，SC-AnchorQE 对 DR 基线有 44 个更优，对开发集固定 α 有 41 个更优；没有任何置信区间显著为负。收益在两个 8B 生成器上最强，1.7B 模型作为较弱扩展质量压力测试，说明融合可以缓解但不能彻底替代生成能力。

消融方面，扩展使用查询编码器 E_q 或文档编码器 E_d 的差异很小：10 个比较中 E_q 赢 6 个，最大绝对差仅 0.0038，说明方法对角色前缀不敏感。校准前缀 B=8、16、32 时，五个报告组的最大跨度只有 0.0027。生成长度改为 64 token 或开放式 EOS 后，AnchorQE 仍在所有报告组超过传统融合与调优文本重编码。少数失败值得注意：BEIR 的 TREC-COVID 与 Touché 2020 上个别策略出现轻微负增益，且固定 α 相比 SC 版本在 Q2E/CoT 的集合级置信区间跨零，表明在线校准并非每种生成策略都稳定显著胜过已调优常数。

5. 局限与未来方向

作者明确指出，SC-AnchorQE 假设短前缀能代表随后相对稳定的查询流；一旦分布快速变化，流级 α 会陈旧，而且单一共享权重无法同时处理异常优质与严重误导的扩展。融合质量仍受生成质量上限约束，弱扩展缺失的信息不可能靠插值恢复。论文采用严格无前视模拟，而非真实时间流量，仍需更广泛部署研究。

理论上的融合等价还依赖同一稠密空间、原始点积和精确全排序；混合稀疏/稠密检索、流间不同归一化、非线性融合或独立截断的 ANN 候选都不满足证明条件。校准期会增加探测请求，且论文延迟表只计算索引侧，不含 LLM 生成与编码；真实系统中生成仍是主要成本。作者未报告线上 A/B 测试。论文之外的明显问题是全局 α 对查询级风险区分不足，可探索带置信约束的 per-query α、漂移检测与周期性重校准。

6. 工业实践意义

对社区 UGC 短文本搜索，最值得直接采用的是“原查询向量不可丢”的接入原则。现有系统可保持文档 embedding、ANN 索引与召回 API 不变：异步或缓存生成 HyDE/关键词扩展，分别编码，再以较小 α 做归一化插值。首个灰度版本可从 α=0.10～0.15 开始；α=0.10 具有 6.38° 的最坏偏转上界，便于风险评审。系统应同时记录原查询 top-10、扩展 top-1、证据一致性、最终 α 与排序翻转率，以定位哪些 query 类别真正受益。

SC 校准适合稳定业务分桶而非全站共享：可按语言、意图、内容域或流量入口维护独立 α，并在分布漂移后重新用短前缀估计。对于突发热点和新词，若扩展检索很强但与原结果证据不一致，乘积门会自动降权；对于原查询召回弱但扩展能找到一致证据的场景，α 才会提高。上线实验应至少观察 nDCG/Recall、CTR、零结果率、长尾内容覆盖、坏扩展率与 P95 延迟，并设置 α=0 的安全回退。

成本上，单向量集成比每个扩展单独检索再融合更适合高 QPS：论文在 8 扩展条件下把 9 次请求压成 1 次，索引延迟从 4.33 ms 降到 0.19 ms，效果几乎相同。但不能据此忽略 LLM 生成费用；优先考虑离线生成热门查询扩展、使用小模型、限制 64/128 token、按高价值请求触发，或把生成结果缓存。应避免直接把长伪文档拼到短查询中，也不要仅因扩展自身 top-1 相似度高就提高权重；真正有效的控制信号是检索强度与原查询证据一致性同时成立。