RAG or Learning? Understanding the Limits of LLM Adaptation under Continuous Knowledge Drift in the Real World
提出面向真实世界持续知识漂移场景的系统性评测基准,基于带时间戳的证据数据比较 RAG、持续微调和知识编辑三种 LLM 适应策略。实验表明:当知识快速变化时,RAG 在保持时效性方面显著优于微调方法,但在需要深层推理的场景中存在局限。该工作为搜索系统选择 RAG vs 微调策略提供了定量决策依据。
INSIGHT该研究首次在连续知识漂移条件下系统比较了多种 LLM 适应方案的表现边界。对 UGC 搜索场景的实践启示:社区内容更新极快,纯微调方案无法跟上知识漂移速度,RAG 在时效性上有天然优势,但需要搭配有效的检索策略。实际部署时应采用 RAG + 定期微调的混合策略,根据知识变化频率动态调整两者比例。