ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging
Generative Retrieval (GenRetrieval) 用 LLM 直接生成文档 ID,但微调过程会快速遗忘 LLM 原本的通用推理能力。作者发现遗忘速度与微调权重和初始权重之间的距离强相关,于是提出 ORBIT:在训练中动态跟踪当前权重与初始权重的距离,当距离超阈值时用权重平均把模型「拉回」初始点。实验显示 ORBIT 在保持检索性能的同时显著优于 EWC/LwF 等持续学习基线,文本生成质量回退明显减少。
INSIGHTORBIT 揭示了生成式检索/推荐落地的一个关键工程问题:用 LLM 做 DocID 生成时,强烈的 task-specific 微调会摧毁 LLM 的语义泛化能力,使其在 OOD 查询上崩塌。Origin-regulated merging 提供了一个轻量、可工程化的解决方案 — 训练循环里加一个距离 trigger 触发权重平均,不需要 rehearsal data,对社区搜索这种「query 长尾、需要保留 LLM 通用语义理解」的场景特别适用。