FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention
针对超长上下文解码时全量 KV cache 常驻显存的瓶颈,提出 Lookahead Sparse Attention (LSA):在 DeepSeek-V4 上构建 Neural Memory Indexer,预测后续 token 的上下文需求、只在显存里保留 query 关键的 KV chunk。关键做法是把 indexer 设计成标准 dual-encoder 检索结构、用现成检索训练框架独立训练(backbone-free 解耦训练,单张 H20 GPU 一小时收敛、一周可做约 500 次训练)。在 LongBench-v2、LongMemEval、RULER(最长 512K)上平均 KV 用量降到基线的 13.5%(省 86.5%,500K 时省约 90%),平均精度 77.5% 对基线 76.9%,LongBench-v2-L(493K) 70.0% 对 68.1%,RULER-512K 89.6% 对 88.3%。
INSIGHT把 KV 选择直接当成稠密检索问题、用 dual-encoder + 检索训练栈来做记忆索引,是把搜索/检索技术迁移到 LLM 推理侧的典型案例——indexer 不必加载巨型 backbone 就能独立训练,工程上极轻。但作者也报告局限:在 MRCR 这类需要密集全局记忆的任务上精度从 76.0% 掉到 48.0%,且长度泛化只到训练上下文的 2 倍。对做 embedding/召回的团队,这说明检索式稀疏注意力适合"长尾稀疏命中"、不适合"全局密集召回"。