One Model Is Enough: Native Retrieval Embeddings from LLM Agent Hidden States
提出让 LLM Agent 直接利用自身 hidden states 进行检索,消除传统「生成查询文本 + 独立 embedding 模型」的双模型流水线。通过在 LLM 之上添加轻量投影头,结合对齐损失、对比学习和排序蒸馏三种训练目标,在 QReCC 对话搜索基准上保持了基线 97% 的检索质量(Recall@10 和 MRR@10),同时消除了独立 embedding 模型的基础设施开销。
INSIGHT该工作验证了 LLM 内部表征直接用于检索的可行性,为「一个模型统一理解与检索」提供了实证支持。这意味着在生成式检索系统中,不必维护独立的 embedding 服务——LLM hidden states 本身就是高质量的检索表征。对搜索系统架构而言,这种单模型方案可显著降低部署复杂度和推理延迟,尤其适合对话式搜索等需要上下文理解的场景。