Structured Distillation for Personalized Agent Memory: 11x Token Reduction with Retrieval Preservation
研究个性化 Agent 记忆压缩问题:将用户与 Agent 的对话历史蒸馏为紧凑的检索层。每条交互压缩为包含 exchange_core、specific_context、thematic room_assignments 和 files_touched 四个字段的结构化对象,平均仅 38 tokens。在 6 个软件工程项目的 4,182 次对话(14,340 条交互)上,实现 11 倍压缩(371→38 tokens),最优纯蒸馏检索配置达到 74% 精度,跨层融合配置达到 81% 精度。
INSIGHTAgent 记忆的核心瓶颈不是存储而是检索——11 倍压缩后仍保持 81% 检索精度的关键在于结构化蒸馏而非简单摘要。四字段模式(核心交互、具体上下文、主题标签、涉及文件)可直接迁移到搜索系统的用户行为记忆中,将用户的搜索历史、点击行为压缩为结构化记忆块,在个性化排序和 query 理解中实现高效检索增强。