DEPT: Document Embedding Preservation Tuning for Unified Query Expansion and Retrieval
DEPT 用同一个 decoder-only LLM 同时生成 query 扩展、编码扩展后的 query 和文档,并用文档 embedding 保持损失抑制检索目标漂移。固定 whitening、straight-through 解码和在线 hard-negative mining 让查询侧持续适配,同时复用已有文档索引。在五个 BEIR 任务上,Qwen3-4B 的平均 nDCG@10 达 42.59,超过 ExpandR 的 41.09 和 UniRAG 的 38.62;LLaMA-3.2-3B 达 39.60。
INSIGHT这项工作把生成式 query 改写从离线 prompt 技巧变成可由最终检索损失直接训练的动作,同时用 DEP 损失把更新压力集中到 query 侧。UGC 短文本搜索可先缓存文档向量和 whitening 统计量,再训练生成器适配口语化、缩写和隐含约束;其四卡、LoRA、1k steps 的配置说明原型成本可控,但长扩展文本的在线延迟仍需单独评估。