SmartSearch: How Ranking Beats Structure for Conversational Memory Retrieval
本文针对对话记忆检索任务,证明了基于 LLM 的结构化摄取(ingestion)和学习式检索策略均非必要。SmartSearch 使用完全确定性的 pipeline:NER 加权子串匹配做初步召回,基于规则的实体发现做多跳扩展,CrossEncoder+ColBERT 分数融合做最终排序(唯一的学习组件,CPU 上约 650ms)。关键发现:召回率达 98.6%,但若无智能排序,仅 22.5% 的黄金证据能在 token 预算截断中存活;引入分数自适应截断后,模型在 LoCoMo 达 93.5%、LongMemEval-S 达 88.4%,超越所有已知记忆系统,且仅使用全上下文 baseline 1/8.5 的 token。
INSIGHT核心洞察是「排序质量比结构化存储更重要」:LLM 结构化摄取的成本极高且不必要,关键瓶颈在于排序层能否将最相关证据放在 token 预算之内。对 UGC 搜索的启示:(1) CrossEncoder 细粒度重排能显著提升长上下文中的相关片段召回;(2) ColBERT 的 MaxSim 机制与 CrossEncoder 互补融合可提升 token 级别的匹配精度;(3) 在低延迟约束场景下,无需 LLM 的纯 CPU 重排管线是可行的工业选择,值得在社区搜索精排阶段尝试。