Improving Neural Retrieval with Attribution-Guided Query Rewriting
本文提出一种基于梯度归因(gradient-based token attribution)引导 LLM 进行查询改写的方法,用于改进神经检索。核心思路是从检索器中计算各 token 的梯度归因分数,识别查询中语义薄弱或误导性的成分,然后将归因信息作为 prompt 引导 LLM 精确地澄清和改写这些成分。在 BEIR 多个数据集上的评估表明,该方法能持续提升检索效果,尤其在查询表述不精确的场景下改善显著。
INSIGHT该工作的核心创新在于将检索器的内部信号(token 级别梯度归因)与 LLM 的改写能力结合,形成了一个可解释的查询改写闭环。对 UGC 搜索的实践意义:(1) 社区查询通常表述模糊、简短,梯度归因可精准定位查询中的弱项;(2) 该方法不需要重训检索器,只需在推理时加一步 LLM 改写,部署成本可控;(3) 为 query 理解提供了一种数据驱动的改写策略,优于纯启发式规则。