Useful Memories Become Faulty When Continuously Updated by LLMs
论文系统研究了 agentic 系统常用的 "持续整合记忆" (consolidated memory) 范式:让 LLM 将历史交互改写成文本知识条目并持续更新。作者发现 GPT-5.4 在 ARC-AGI 上,对那些原本无记忆也能解决的题目,开启 consolidated memory 后失败率高达 54%;记忆质量随更新呈先升后降的非单调曲线,最终甚至跌破无记忆基线。问题根源被归因到 consolidation 这一步而非底层经验——同一条轨迹被反复改写后会发生语义漂移和事实污染。
INSIGHT对工业 agent/RAG 系统的警示:把 LLM 写好的 "经验总结" 当作可信知识库长期累积是一个工程陷阱。落地建议是保留 episodic 原始 trace 作为权威源、对 consolidated 摘要做版本化与可回滚、限制 LLM 自更新的递归深度,并定期用基准任务回归测试记忆库价值。对搜索场景的 query log → 知识沉淀流水线尤其重要:不能用 LLM 持续改写问答库本身,需要 human-in-the-loop 或确定性合并策略。