Disentangling Paradigm, Identifier, and Decoding in Generative Retrieval
论文在 NQ320K 与 MS300K 上交叉比较自回归、掩码扩散和块扩散模型,固定标识符长度和训练预算后分离解码影响。仅更换解码就能让扩散模型 Hit@1 改变 6.6–13.7 个百分点;全掩码单次前向评分在 12 个设置中的 11 个达到或超过生成后匹配,自回归仍在 Hit@1 领先。
INSIGHT社区短文本生成式召回的模型比较必须同时报告编码、训练配方和最佳解码,避免把解码收益误判为扩散范式优势。可先测试单次前向的码位概率评分,但其候选计算随语料规模增长;NQ 上随机标识符仍保留残差量化 83%–90% 的 Hit@1,也提示要检查记忆与泛化边界。