QReason：把查询推理从滑窗重排中拆出来

原文：https://arxiv.org/html/2609.30904v1 。以下分析依据正文第1、3—5节、Limitations及附录B。实验数字按论文原表保留，nDCG@10使用论文的百分制显示。

1. 问题与动机

列表式大模型重排会同时比较多个段落，但上下文长度有限，通常用滑动窗口处理前一阶段召回的候选。如果每个窗口都重新生成思维链，同一个查询的意图分析便会重复执行。作者将推理拆成全局查询推理和局部段落推理：前者说明需要什么证据，后者判断当前窗口中哪些段落符合要求。真正需要随着窗口变化的是后者。

正文用ReasonRank在BRIGHT上的推理轨迹验证这一判断：同一查询不同窗口的推理，通过BGE-m3测得平均语义相似度超过90%。这不是证明所有轨迹可以完全替换，但提示重复的查询分析占据了相当多生成成本。QReason因此单独训练一个改写器，把可复用的查询推理生成一次，然后交给不输出思维链的列表式重排器。

已有DeepRetrieval、TongSearch等查询改写主要服务召回，而重排更加关注候选之间细粒度的精度差异。正文指出，召回阶段可容忍的扩展内容，在重排阶段可能成为错误相关性信号。论文要解决的是“如何生成适合排序的推理查询”，并非把任意通用扩写直接拼入排序提示。

2. 方法详解

给定原查询q及候选段落集合，传统方法对每个窗口W生成推理c，再输出排列π。QReason先计算q′=RW(q)，随后在每个窗口上计算π=f(q,W,q′)。原查询仍然保留，q′直接追加其后；窗口之间共享的是意图解释，候选列表仍分别进入重排器。这个结构保留了查询和段落的联合判断能力，也减少重复的自回归输出。

第一阶段RGST是有相关证据支撑的监督微调。作者基于公开reasonrank_data_13k数据，让DeepSeek-R1读取查询和标准相关段落，合成连接查询需求与相关证据的推理查询。训练输入为“查询加标准相关段落”，目标是教师生成的推理查询，使用标准逐token负对数似然损失。相关段落在此充当监督脚手架，使模型学会哪些语义方面真正决定相关性。

第二阶段RADR专门处理训练与推理不一致：生成策略只能看到原查询，不能看到标准相关段落。对每个查询采样8条候选推理查询，用两种奖励评价。列表奖励将原查询、改写和候选交给固定重排器，取输出排名的nDCG@10；逐段奖励让相关性判断模型分别检查改写是否与各标准相关段落一致，再对二值判断取均值。总奖励为列表奖励加λ乘逐段奖励，最佳λ为0.6。组内奖励归一化形成相对优势，再以带裁剪和KL正则的GRPO优化改写器。逐段奖励防止改写仅迎合排序模型而偏离证据。

附录B明确了复现资源。改写器初始化为Qwen2.5-7B-Instruct，训练框架为ms-swift。RGST用8张A800训练约2小时，3个epoch，每设备batch为2，累积4步，学习率5×10^-6，采用ZeRO-3和FlashAttention。RADR同样用8张A800，约7小时，每设备batch为1、累积8步，学习率10^-6，KL系数0.001，采样温度0.8。奖励服务部署在独立的2张H100上，通过vLLM通信：Qwen3-30B-A3B负责列表排序奖励，Qwen3-8B负责逐段判断。正文附录没有在这些实现段落中明确优化器名称，不能凭常见配置补写。

推理时改写器和重排器均使用vLLM，实验运行于4张A800，解码温度为0并采用贪心解码。首先用BRIGHT提供的GPT-4改写进行ReasonIR召回，再重排前100个段落；通用重排器窗口大小20、步长10。由此可见，论文测试的是特定强召回条件下的重排效果，不能直接看成裸查询端到端搜索的结果。

3. 核心技术贡献

第一项贡献是把冗余定位到查询级推理，并将其显式外置。传统推理重排的生成量近似为K×(R+O)，其中K是窗口数，R为推理长度，O为排列输出长度；QReason变成R′+K×O。若R和R′相近，就省掉约K-1次重复推理输出。改写仍须追加到各窗口输入，因而prefill成本不会完全消失，节省主要来自减少串行解码。

第二项贡献是用标准相关段落构造排序导向改写监督，而非只要求“扩写得更丰富”。在Qwen2.5-32B重排器的消融中，去掉相关段落引导后，平均nDCG@10由35.18降至32.98，损失2.20点。这个差值比单独删除任何一种奖励更大，说明可靠证据约束是方法的重要组成部分。

第三项贡献是训练目标同时兼顾最终列表效用和语义一致性。仅RGST为33.50，仅RADR为33.91，两阶段完整模型为35.18；这分别相差1.68和1.27点。监督阶段提供较稳定的初始证据模式，强化阶段则让模型在“只有查询”的真实输入条件下学习。设计上的可借鉴点是直接奖励下游排序结果，同时用独立证据奖励约束投机性扩写。

4. 实验结果分析

BRIGHT主表比较如下，指标均为平均nDCG@10。表中结果由作者在统一实验环境复现，不同模型的参数规模和训练背景仍应结合阅读。

最强组合比ReasonRank 32B高0.48点。更有说服力的是同一通用重排器的前后比较：QReason分别带来2.43、1.05和1.44点提升，跨三个骨干方向一致。通用查询改写没有这种稳定性，例如GPT-4改写使Qwen3-30B-A3B从34.48降至31.87，下降2.61点；TongSearch在Qwen2.5及Qwen3两种重排器上也退化。因此，改写的召回价值与重排价值需要分开测试。

消融进一步区分机制。完整模型35.18；删除逐段奖励为33.85，下降1.33点；删除列表奖励为33.90，下降1.28点。两种奖励都有效，不能仅保留其中一种就声称复现原方法。λ从0.1到1.5的实验呈先升后降，在0.6最佳，表明过强的证据约束也可能限制排序效用。

效率表在六个BRIGHT子集测量端到端时延，包含一次改写成本。ReasonRank 32B均值1491.14秒；QReason加Qwen3.5为189.80秒，7.86倍加速；加Qwen2.5为577.24秒，2.58倍加速。LeetCode子集前一组合为315.04秒，对比3385.11秒，达到10.75倍；theoremqa_theorems为205.18秒，对比1188.31秒，5.79倍。加速依赖骨干和任务，且这些绝对时延依然很高。

收益也并非覆盖每个领域。Qwen3.5组合在心理学从47.94降至47.12，Stack类从30.26降至29.52，Pony从27.24降至25.70。主表平均上涨不能掩盖子集退化。案例分析中，QReason在家庭食品支出归属问题上保留投入产出框架、供给使用表和行业商品映射；TongSearch则加入未被证据支持的行业编码和分配假设。QReason本身仍出现宽泛额外信息，并没有彻底消除改写噪声。

5. 局限与未来方向

作者在Limitations中明确指出，列表奖励和逐段相关性奖励没有直接建模覆盖度、忠实性和冗余等多维要求。未来可以将查询特定rubric奖励引入RADR，使可复用推理查询更可控、更稳健。这是论文自己提出的方向，不能把现有相关性奖励当作已解决这些目标。

从本文实验设置还可以观察到应用边界：主要结果来自推理密集型BRIGHT，虽然附录另有FreshStack与NeuCLIRBench补充测试，但没有社区UGC线上CTR或A/B证据。正文展示的绝对时延距离一般交互搜索预算仍远。训练依赖相关段落、教师合成及两类奖励服务，数据建设和资源成本需要计入工程预算。这些是基于实验配置的实践判断，与作者正式列出的局限应区分。

6. 工业实践意义

对社区短文本搜索，最值得试验的是“一次意图分析，多窗口复用”的结构。复杂问题查询、长问答需求或多个条件组合，可能比简单导航词更需要它。可以先把该结构加入离线重排实验，对比原查询、通用扩写和排序导向改写，分别记录nDCG@10、困难查询胜负率、改写语义偏移以及P95时延，而不是只比较平均分。

训练上应优先准备具有可信相关性判断的查询—帖子或查询—回答对。论文中相关段落监督的2.20点消融损失提醒我们：靠无证据的通用扩写不一定能得到相同收益。若用点击日志提供监督，还要处理曝光与位置偏差，不能直接把每次点击视为标准相关段落；这是迁移建议，论文没有验证这种替换。

部署上可将推理查询与原查询绑定缓存，并设置长度限制，保证它在窗口中不会挤掉候选内容。应保留原查询，检查重复、假设性补充和具体实体幻觉。低延迟线上路径可先限定少量复杂查询和较小候选集，再评估更小骨干；论文的7.86倍加速是相对重推理基线的结果，不是毫秒级服务证明。本文没有线上实验，不能据此预测CTR增长。最终取舍应由社区语料的相关性、点击指标与响应预算共同决定。