Retrieval-Feedback-Driven Distillation and Preference Alignment for Efficient LLM-based Query Expansion
本文针对 LLM query 扩展的高推理成本问题,提出「检索反馈驱动的蒸馏与偏好对齐」框架(RFDA),将大型 teacher LLM 的扩展能力迁移至小型 student 模型。框架分两阶段:首先利用检索反馈生成高质量扩展对,然后通过偏好对齐训练 student 模型优先生成「对检索友好」的扩展词。相比直接使用大模型或 few-shot 方式,在保持扩展质量的同时大幅降低推理成本。
INSIGHTLLM query 扩展的核心瓶颈在于推理延迟,而非扩展质量本身。本框架通过将「检索反馈」纳入偏好对齐训练信号,使小模型习得大模型对检索有益的扩展行为。对于社区搜索而言,可基于此思路构建轻量级在线扩展模块:先用大模型离线生成偏好数据,再蒸馏为可部署的小模型,实现生成式 query 理解的低延迟落地。