Multi-Faceted Self-Consistent Preference Alignment for Query Rewriting in Conversational Search
提出 MSPA-CQR 框架,通过多维度自一致性偏好对齐来优化对话式搜索中的查询改写。核心思路是从改写质量、检索效果和响应生成三个维度构建自一致性偏好数据,然后使用前缀引导的多维 DPO(Direct Preference Optimization)联合学习三个维度的偏好信息。实验表明该方法在分布内和分布外场景下均有效提升查询改写质量。
INSIGHT将 DPO 引入对话式查询改写具有创新性,尤其是多维度偏好信号的融合方式值得借鉴。对搜索推荐系统的启示在于:传统 query 改写只优化改写文本本身,而 MSPA-CQR 将下游检索效果和响应质量作为反馈信号反向优化改写模型——这种端到端偏好对齐思路同样适用于生成式推荐中的 query-item 匹配优化,以及 LLM-based 推荐系统的 RLHF 训练。