Token-Level Credit Assignment Optimization for Generative Document Retrieval
论文把生成式检索的 DocID 自回归解码视为逐步决策,指出只在完整 DocID 结束后给 relevance reward,会把同一个反馈错误广播到所有 token。方法估计每一步 token 对对应轨迹期望检索质量的改变,形成 token-level relevance reward,并嵌入 policy optimization;在检索基准上持续超过 sequence-level reward baseline,但摘要未披露统一的百分点提升。
INSIGHT对社区短文本的生成式召回,训练信号应回答“哪一个 token 把候选带偏了”,而不是只在最终文档命中后奖惩整条序列。可先在离线 beam 或 trie 解码中估计前缀质量变化,再把 token 级优势接入轻量 RL;上线前同时监控 nDCG、前缀分支覆盖和训练方差。