DiffRetriever: Parallel Representative Tokens for Retrieval with Diffusion Language Models
DiffRetriever 把扩散语言模型直接当作检索器:在 prompt 后追加 K 个 mask 位置,通过一次双向前向并行解码读出全部 K 个表示 token,避免自回归多 token 路线必须逐步生成的瓶颈。论文证明多 token 思路本身有效,瓶颈在顺序生成;在 in-domain 与 out-of-domain 评测上,多 token DiffRetriever 在每个扩散主干上都显著优于单 token,而自回归多 token 几乎持平甚至倒退,且延迟随 K 线性升高,扩散侧则几乎不变。
INSIGHT这是把扩散 LM 推入“生成式检索”的关键一步:用并行解码天然抵消多向量表示的算力代价,让 K 个细粒度表示同时可用。对社区搜索意味着可以用一份 prompt 一次解码出多向量召回器,匹配短文本中多种潜在意图(如帖子里既是问答又是吐槽),同时延迟不爆炸。落地路径上,需要先具备扩散 LM 推理栈,但思路完全适配现有 dense/sparse 召回管线。