1. 问题与动机
LLM 上下文窗口已扩展至百万 token 级别，但评估 LLM Agent 记忆能力的基准仍然停留在短会话合成对话层面。现有基准存在三个关键缺陷：(1) 合成数据失真：如 LoCoMo 依赖 LLM 模拟生成用户数据，无法提供真实用户反馈信号；(2) 上下文短小：如 LaMP 仅提供短序列数据，无法压力测试现代 LLM 的长上下文能力；(3) 单域局限：现有评估局限于单一领域，忽略了真实用户跨域行为模式（用户在不同品类的偏好往往存在关联）。
这些局限导致我们无法回答一个核心问题：LLM 的长上下文能力是否真正解决了用户个性化建模问题？直觉上，更长的上下文窗口应该能容纳更多用户历史，从而更好地理解用户偏好。但实际效果如何？跨域信息是否有帮助？不同记忆方法的优劣如何比较？MemoryCD 正是为系统回答这些问题而设计。
2. 方法详解
数据构建：基于 Amazon Reviews 2023 数据集，选取有丰富跨域行为的真实用户。12 个产品类别涵盖 Books、Electronics、Home & Kitchen、Personal Care 等，上下文长度从 11K 到 314K tokens 不等。用户按领域特定阈值（50-1000 次交互）过滤，确保偏好信号充分。
四种个性化任务设计：
- 评分预测 (Rating Prediction)：输入用户记忆+物品元数据，输出 1-5 评分，指标 MAE/RMSE
- 物品排序 (Item Ranking)：输入用户记忆+候选集，输出排序列表，指标 NDCG@K
- 评论摘要 (Review Summarization)：输入用户记忆+完整评论，输出短标题，指标 ROUGE-L/BLEU-1
- 评论生成 (Review Generation)：输入用户记忆+物品元数据，输出完整评论，指标 ROUGE-L/BLEU-1
14 个 LLM 基座模型：覆盖 GPT 系列（GPT-5-Nano, Mini, 5）、Claude 系列（Opus, Sonnet, 4 Sonnet）、Gemini 系列（2.5 Flash, Pro）等主流闭源模型。
6 种记忆方法基线：
- Long-Context：原始拼接基线，直接将所有历史塞入上下文
- LoCoMo：基于向量索引的检索增强记忆
- Mem0：LLM 驱动的事实提取与整合
- ReadAgent：基于 gist memory 的情节压缩
- MemoryBank：持久化用户档案更新
- A-Mem：基于知识图谱的笔记与动态链接
记忆设置：单域（记忆和评估来自同一领域）和跨域（记忆来自其他领域，在目标领域评估），其中跨域设置覆盖 323 名跨 Books、Electronics、Home & Kitchen、Personal Care 四个域的用户。
3. 核心技术贡献
贡献一：首个基于真实用户行为的大规模跨域记忆基准。与 LoCoMo、LaMP 等合成或短序列基准不同，MemoryCD 追踪真实用户跨越数年、12 个领域的实际交互。这确保了评估结果的生态效度——合成数据中的「用户偏好」可能不反映真实世界的偏好结构。
贡献二：多维度记忆生命周期评估框架。不局限于信息检索能力，而是评估记忆的五个生命周期阶段：存储、压缩、更新、检索、遗忘。四种任务分别测试不同方面：评分预测测试偏好理解深度，物品排序测试比较决策能力，评论摘要测试信息压缩能力，评论生成测试用户风格模拟能力。
贡献三：跨域个性化的系统性实证分析。首次大规模验证跨域用户记忆的有效性和局限性，发现领域语义相似度是跨域迁移成功的关键前提——Electronics 记忆对 Home & Kitchen 有效（MAE 从 0.43 降至 0.30），但 Books 记忆对其他领域帮助有限甚至引入噪声。
4. 实验结果分析
单域性能（Books 领域）：GPT-5 在评分预测（RMSE: 0.624）和排序（NDCG@3: 0.177）上表现最优，而 Gemini-2.5 Pro 在生成任务上领先（Review ROUGE: 0.162）。这揭示了一个关键发现：决策类任务和生成类任务需要不同类型的模型能力。
记忆方法对比（Books 领域）：
- Long-Context 在评分预测上最强（GPT-5 MAE 0.330），因为相关交互分散在整个历史中
- LoCoMo 通过定向证据检索提升排序任务
- Mem0 通过去除冗余提升摘要能力（ROUGE +0.057）
- ReadAgent 通过 gist 检索改善排序
- MemoryBank 通过用户档案演化稳定生成质量
- A-Mem 通过组合检索提升结构化文本指标
跨域发现：效果高度依赖领域语义相似度。Electronics→Home & Kitchen 迁移效果好（GPT-5 MAE 从 0.43 改善至 0.30），但 Books→其他领域迁移效果差——「不相关的长输入证据引入噪声而非帮助」。
核心结论：「没有单一方法在所有任务上占优」，现有方法「距离完美对齐用户偏好还很遥远」。
5. 局限与未来方向
作者明确指出的局限：(1) 跨域评估使用固定记忆操作而非可学习的记忆机制，限制了方法的自适应能力；(2) 评估聚焦于记忆利用效果，未涉及用户隐私和安全防护问题——这在真实部署中是必须考虑的；(3) 大规模训练式记忆方法被排除，因为「大多数最先进的长上下文 LLM 仍然是闭源的」，无法进行训练级别的干预。
6. 工业实践意义
对推荐系统的核心启示：
模型选择需任务分化：决策类任务（CTR 预估、排序）和生成类任务（摘要、解释生成）对 LLM 能力的要求不同，不应用同一模型处理所有任务。这对搜索系统的架构设计有指导意义——排序模型和 query 改写/摘要模型可能需要不同的 LLM 基座。
长上下文 ≠ 好的个性化：百万 token 窗口并未自动解决用户建模问题。关键瓶颈在于信息检索和整合策略，而非上下文容量。这警示搜索团队：简单地将更多用户历史塞入 LLM 上下文并不能持续提升效果，需要结构化的用户记忆组织方式。
跨域信息是把双刃剑：语义相关的跨域信息有助于冷启动，但不相关的跨域信息反而引入噪声。在社区搜索中，跨频道/跨板块的用户行为数据需要选择性使用，而非盲目融合。
记忆方法的选择性部署：不同记忆方法适用于不同子任务——检索式方法 (LoCoMo) 适合排序、整合式方法 (Mem0) 适合摘要、档案式方法 (MemoryBank) 适合生成。搜索系统可根据下游任务选择性组合。