ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression
ResRank 将 LLM 监听式重排序从“逐 token 自回归生成”改造成“一次余弦匹配”:用 Encoder-LLM 把每个候选文档压成单向量,再通过残差连接把 encoder embedding 与 reranker hidden state 融合,最终用一步余弦相似度替代解码。两阶段、多任务端到端训练。在 TREC DL 和 8 个 BEIR benchmark 上获得与原始 listwise LLM 重排序相当或更好的效果,但每个 passage 仅消耗 1 token、零生成 token,效率/效果折衷大幅改善。
INSIGHT对线上生产来说,listwise LLM rerank 的最大瓶颈是自回归延迟与“lost in the middle”,ResRank 用残差结构把 encoder 的语义压缩与 LLM 的判别能力同时端到端训练,把重排序变成单次相似度计算。在社区短文本场景中,可以借鉴“压缩成 1 token + 残差连接”的思路:召回与精排共用同一 backbone,避免传统两塔/cross-encoder 链路的训练目标错位,同时获得近似 listwise LLM 的精度。