DiffuRank: Effective Document Reranking with Diffusion Language Models
本文首次系统探索了扩散语言模型(dLLMs)在文档重排序中的应用,提出 DiffuRank 框架,实现了三种重排序策略:(1) pointwise 方法利用 dLLMs 估计 query-document 对的相关性分数;(2) 基于 logit 的 listwise 方法联合评估多文档相关性并直接从模型 logit 导出排序列表;(3) 基于排列的 listwise 方法。实验表明 dLLMs 在文档重排序上性能可与同等规模的自回归 LLM 相媲美甚至超越,同时因并行解码带来效率优势。代码已开源。
INSIGHT扩散语言模型为搜索重排序提供了自回归 LLM 之外的新范式选择。其核心优势在于并行解码(parallel decoding)——不需要逐 token 生成,可一次性评估多文档的相关性,这在 listwise 重排序场景下有天然的效率优势。对于实际搜索系统,logit-based listwise 策略尤其值得关注:它直接从模型 logit 层提取排序信号,避免了自回归模型中复杂的 prompt 工程和位置偏差问题。