MemoryCD: Benchmarking Long-Context User Memory of LLM Agents for Lifelong Cross-Domain Personalization
该论文提出 MemoryCD,首个基于真实用户行为(Amazon Review 数据集)的大规模跨域用户记忆基准。不同于依赖脚本化人设的合成数据,MemoryCD 追踪用户跨越多年、多领域的真实交互,构建了包含 14 个 LLM 基座模型和 6 种记忆方法基线的评估管线,覆盖 12 个领域的 4 种个性化任务。实验揭示现有记忆方法在用户满意度方面远未达标,尤其在跨域个性化场景下表现差距显著。
INSIGHT首次系统评估 LLM 长上下文记忆在跨域个性化中的效果,发现百万 token 上下文窗口并未解决用户建模问题——关键瓶颈在于信息检索和整合而非上下文长度。这对社区搜索中利用 LLM 做用户兴趣理解有重要警示:简单增大上下文窗口不够,需要结构化的用户记忆组织方式。该基准的跨域设计(12 个领域)为评估搜推系统中的冷启动和跨场景迁移提供了实用工具。