Memory Makes the Difference: Evaluating How Different Memory Roles Shape Conversational Agents
已有 RAG 对话系统研究多关注记忆『如何存取』,本文转而研究不同功能角色的记忆如何影响回复质量。作者提出对话记忆的细粒度分类法,把检索到的记忆按角色类型归类,并设计模拟用户视角的 user-centric 评估框架(区别于传统 reference-based 评估)。在长程对话数据集与前沿 LLM 上的对比实验表明,不同角色的记忆会实质性地改变 Agent 的回复行为。作者来自 Microsoft 与 Dartmouth。
INSIGHT对做社区对话式搜索/问答的团队提示:检索回来的『记忆/历史』并非同质,按功能角色(用户偏好、事实约束、上下文线索等)区分并差异化使用,比单纯堆叠召回更能影响回复质量。其 user-centric(模拟用户偏好)的评估思路也值得借鉴——reference-based 指标往往捕捉不到回复对用户个性化需求的满足程度。