RSRank: Learning Relevance from Representational Shifts —— 深度解读

1. 问题与动机

论文锁定 reranker 在「二值相关判定」时的一个被忽视的系统性问题：阈值不一致 (threshold inconsistency)。当前 SOTA reranker（如 Qwen3-Reranker-8B）输出一个相关性分数，再用一个固定阈值切「相关/不相关」，但作者实测发现，最优阈值在数据集之间、甚至 query 之间剧烈漂移：Qwen3-Reranker-8B 在六个数据集上的阈值偏置 (bias) 高达 0.379、方差 0.023。后果很直接——在 HotpotQA 上，若用「数据集级最优阈值」而非「每条 query 的最优阈值」，63% 的 query F1 损失大于 0.1，30% 大于 0.3；在 NFCorpus 上，默认阈值 τ=0.5 时 F1 仅 13.5，而数据集最优阈值能到 64.9。作者把根因归结为：现有 reranker 复用的是为 next-token 预测调过的信号（internal states、attention map、logits），这些信号本就不是为「相关性评估」校准的，所以分数分布在不同数据上不可比、阈值无法迁移。

2. 方法详解

RSRank 的核心是把「文档对 query 内部表征的扰动」作为相关性信号。

表征漂移 (Representational Shift, RS) 的计算。 取注意力前的 value 向量 v_i^(ℓ,h)(x) = W_V^(ℓ,h)·r_i^(ℓ-1)(x)（r 为第 ℓ-1 层、位置 i 的 residual stream）。对每个 query token t，比较「以文档 d 为前缀」与「空前缀」两种条件下的 value 向量差：δv_t^(ℓ,h)(d;q) = v_{n+t}(d·q) − v_{n+t}(q)（RoPE 模型用有限差分，并以 null-prefix 做基线以隔离内容效应）。把这些差堆叠成 RS 张量 Δ(d,q)_{ℓ,h,t}，覆盖选定的层 ℓ、注意力头 h、query 位置 t。

Oracle 与投影学习。 定义 oracle 漂移 Δ(q) = Δ(D_q^+, q)，即「同时以全部相关文档为条件」时 query 表征被改写的聚合效应。推理时拿不到 oracle，于是训练一个投影矩阵 B，使 B·Δ(q) 对齐全 1 向量 𝟏_P；这样无关文档投影后的漂移与 𝟏_P 的余弦相似度就会偏低。

打分与无阈值过滤。 打分函数 z_{ℓ,h,t} = B_{ℓ,h}·Δ(d,q)_{ℓ,h,t}，s(d|q) = Σ_{ℓ,h} (1/T)Σ_t cos(z_{ℓ,h,t}, 𝟏_P)。校准损失把相关文档推到 0 以上、无关文档压到 0 以下，配合 margin=0.5 的间隔损失，使天然决策边界落在 τ=0，无需逐数据集调阈值。

训练设置。 骨干 Qwen3-8B 表征冻结，只训练投影矩阵 B，可学习参数仅 2.3M；用 2000 条训练样本（排除 FEVER）；层 0（原始 embedding）剔除、保留层 1–31；AdamW + 余弦退火（0.05→0.001），最多 120 epoch、early stopping patience=35，混合精度；损失权重 λ_cal=0.8、λ_align=0.5、λ_frob=0.1、λ_ortho=0.05。

3. 核心技术贡献

(1) 量化并形式化阈值不一致问题：用配对 t 检验（p<0.05）证明数据集级与 query 级最优 F1 存在统计显著差距，把一个工程界凭经验感知的痛点变成可度量指标。

(2) 以 value 向量的表征漂移作为天生校准的相关性信号：区别于 logit/attention 这类 next-token 信号，RS 直接刻画「文档加入后 query 表征往哪偏」，分数可跨数据集比较。

(3) 轻量投影学习 + τ=0 自然边界：冻结大模型、只学 2.3M 的 B，校准/间隔损失让阈值固定在 0，省掉每个数据集重调阈值的运维成本。

(4) 阈值稳定性大幅提升：偏置从 0.379 降到 0.022（约 17×），方差从 0.023 降到 0.0005（约 47×）。

4. 实验结果分析

数据集（6 个）：多跳 QA 的 2WikiMQA、HotpotQA、MuSiQue（句子级），领域型 FiQA（金融）、FEVER（事实核查）、NFCorpus（生物医学）（段落级），每个测试集最多 500 条 query。基线：Qwen3-Reranker-8B（SOTA LLM reranker）、MonoT5-base/3B（cross-encoder）、LLM2Vec-Gen（Qwen3-8B，embedding 类）。指标：NDCG@5、Recall@5、F1@τ（主指标，用各方法自然阈值、不调参）。

主结果：平均 NDCG@5 87.3 vs 86.3（+1.0pp），Recall@5 81.1 vs 79.1（+2.0pp），而最能体现价值的 F1@τ 为 67.5（τ=0）vs Qwen3 的 60.3（τ=0.5），+7.2pp。分数据集看，2WikiMQA 60.5 vs 51.9（+8.6pp）、MuSiQue 61.2 vs 57.1（+4.1pp），最极端的是 NFCorpus 62.2 vs 13.5（+48.7pp）——后者正是默认阈值彻底失配的典型。

消融：样本效率极高，50 条样本即达 89.2% R@5，约 400 条饱和；去掉「漂移」直接用原始表征，F1@0 掉 6.4pp；移除校准损失掉 8.3pp（最关键）；信号选择上 value 向量 > key 向量 > hidden states。推理开销：完整 RSRank 仅比基线多 15.4ms（A100-80GB 上 +0.88%），几乎可忽略。

5. 局限与未来方向

作者自陈三点：(1) BEIR 评测用的是每 query 15 个随机语料负例，而非检索阶段的 hard negative，在对抗性更强的真实场景里会高估效果；(2) query 级校准仍不完美，数据集级最优与 query 级最优之间平均还有 +15.9pp 的 F1 headroom；(3) 只在切块后的 passage 上评测，整篇文档级 reranking 不在范围内。此外，方法依赖能拿到 query 内部 value 向量（白盒），对只暴露 API 的闭源 reranker 不适用——这一点作者未强调。

6. 工业实践意义

对搜索/推荐的精排环节，RSRank 最值得借鉴的是无阈值这一性质：生产中 reranker 上线后最头疼的就是不同流量/query 分布下要反复重调切分阈值，RSRank 把边界钉死在 τ=0，省掉这套运维。技术上它只在冻结 LLM 上加一个 2.3M 参数的投影、推理仅 +0.88% 延迟，落地代价低；且 value 向量漂移是在表征层计算、无需生成式解码，契合短文本精排的低延迟约束。可尝试的路径：在自有 reranker（若为白盒 LLM）上加一层 RS 投影头，用少量（数百条）标注即可训练，重点验证「校准损失 + τ=0」能否替代现有阈值搜索。需谨慎之处：论文在多跳 QA / 领域问答上验证，未在短 UGC 搜索上测；hard negative 鲁棒性、整篇文档场景、以及对非白盒模型的不可用性，都是迁移到社区搜索前要先压测的风险点。